JP2021521939A - 立体視覚化カメラ及び統合ロボットプラットフォーム - Google Patents

Abstract

ロボット撮像装置が開示される。ロボット撮像装置は、ロボットアーム、立体カメラ、ロボットアームと立体カメラとの間に位置決めされるセンサを含む。センサは、オペレータにより立体カメラに付与される並進力及び回転力を示す出力データを送信する。ロボット撮像装置はまた、ロボットアームの現在位置及びセンサからの出力データに基づいてロボットアームの移動シーケンスを決定し、少なくとも１つのジョイントに提供される１つ又は複数のモータ制御信号を介して、決定された移動シーケンスに基づいて、ロボットアームのジョイントの少なくとも１つを回転させるように構成されたプロセッサも含む。少なくとも１つのジョイントの回転は、オペレータにより付与された、検出された並進力及び回転力に基づいてロボットアームの動力補助付き移動を提供する。

Description

本発明は、立体視覚化カメラ及び統合ロボットプラットフォームに関する。

手術は芸術である。優れた芸術家が、常人の能力をはるかに超えた芸術品を作り上げる。芸術家は筆を使って絵の具の容器を、閲覧者から強く独特な感情を引き起こす鮮明な画像に変える。芸術家は紙に書かれた平凡な言葉をドラマチックで荘厳なパフォーマンスに変える。芸術家は楽器を掴み、楽器に美しい音楽を放たせる。同様に、外科医は、見たところは平凡な外科用メス、ツイーザ、及びプローブをとり、人生を変える生物学的奇跡を生み出す。

芸術家のように、外科医は自身の方法及び好みを有する。向上心がある芸術家は、技能の基礎が教えられる。初心者は多くの場合、規定の方法に従う。経験、自信、及び知識を得るにつれて、自分自身及び個人的環境の独自の芸術性の反映を発展させる。同様に、医学生も外科処置の基礎を教えられる。これらの方法について厳格にテストされる。生徒が研修期間及び実務を通して進むにつれて、手術が最良に完了すべきとどのように信じるかに基づいて、基礎から導き出されるもの（なお医療規格内にある）を発展させる。例えば、異なる有名な外科医によって行われる同じ医療処置を考える。イベントの順序、ペース、スタッフの配置、器具の配置、及び撮像機器の使用は、好みに基づいて各外科医で様々である。切開のサイズ及び形状でさえも外科医に固有であることができる。

外科医の芸術家のような独自性及び特技により、外科医の方法を変える又は変更する外科器具に外科医はうんざりする。器具は外科医の延長であり、同時に及び／又は調和のとれた同期で動作すべきである。処置の流れを決める又は外科医のリズムを変える外科器具は多くの場合、破棄されるか、又は順応するように変更される。

一例では、特定の外科処置が、人間が裸眼で容易に視覚化するには小さすぎる患者の構造が関わる顕微鏡手術視覚化を考える。これらの顕微鏡手術処置では、微小構造を適宜見るために拡大が求められる。外科医は一般に、自身の目の自然な延長である視覚化器具を欲する。実際に、顕微鏡手術視覚化の初期の尽力は、拡大鏡をヘッドマウント光学接眼レンズ（外科用ルーペと呼ばれる）に取り付けることを含んだ。最初のものは１８７６年に開発された。外科用ルーペの大いに改善されたバージョン（幾つかは光学ズーム及び一体化光源を含む）はなお今日、外科医によって使用されている。図１は、光源１０２と、拡大鏡１０４とを有する１つの外科用ルーペ１００の図を示す。１５０年にわたり外科用ルーペの勢力が維持されていることの一因は、外科用ルーペが文字通り外科医の目の延長であることである。

長寿命にも拘わらず、外科用ルーペは完全ではない。図１のルーペ１００等の拡大鏡及び光源を有するルーペは、はるかに大きな重量を有する。外科医の顔の前にわずかな量の重量を配置することであっても、特に長時間の手術中、不快感及び疲労を増大させる可能性がある。外科用ルーペ１００は、遠隔電源に接続されたケーブル１０６も含む。ケーブルは事実上、鎖として機能し、それにより、外科実行中、外科医の可動性を制限する。

別の顕微鏡手術視覚化器具は、手術用顕微鏡とも呼ばれる外科医用顕微鏡である。外科用顕微鏡の広範囲の商業的開発は、外科用ルーペに取って代わることを目的として１９５０年代に始まった。外科用顕微鏡は、光路、レンズ、及び外科用ルーペと比較して高い倍率を提供する集束要素を含む。光学要素の大きなアレイ（及びその結果としての重量）は、外科用顕微鏡を外科医から取り外す必要があったことを意味する。この取り外しは、外科医に操作のためのより多くのスペースを与えるが、外科用顕微鏡のかさ高さは、患者の上方で相当な操作空間を消費させ、それにより、外科ステージのサイズを低減させる。

図２は、従来技術による外科用顕微鏡２００の図を示す。想像できるように、手術エリアでの外科用顕微鏡のサイズ及び存在により、揺れを受けやすかった。スコープヘッド２０１に安定性及び剛性を提供するために、顕微鏡は、比較的大きなブームアーム２０２及び２０４又は他の同様の支持構造体に接続される。大きなブームアーム２０２及び２０４は、追加の手術スペースを消費し、外科医及びスタッフの機動性を下げる。合計で、図２に示される外科用顕微鏡２００は３５０キログラム（「ｋｇ」）という重さになり得る。

外科用顕微鏡２００を使用して標的術部を見るために、外科医は接眼レンズ２０６を直接通して見る。外科医の背中への応力を低減するために、接眼レンズ２０６は一般に、アーム２０２を使用して高さを調整して、外科医の自然な視線に沿って位置決めされる。しかしながら、外科医は、標的術部のみを見ることによって手術を行うのではない。接眼レンズ２０６は、外科医が患者への作業距離のアーム長さ内にいるように位置決めされる必要がある。そのような精密な位置決めは、特に長時間にわたり使用される場合、外科用顕微鏡２００が外科医にとって障害ではなく延長になることを保証するのに極めて重要である。

任意の複雑な機器のように、外科医が外科用顕微鏡を使用して快適さを感じるには、数十から数百の時間がかかる。図２に示されるように、外科用顕微鏡２００の設計は、外科医から標的術部まで略９０°角度の光路を必要とする。例えば、標的術部からスコープヘッド２０１までに完全に垂直な光路が必要とされる。これは、あらゆる顕微鏡手術処置で、スコープヘッド２０１を患者の真上に位置決めする必要があることを意味する。加えて、外科医は、接眼レンズ２０６を略水平に（又は幾らか僅かに下方に傾斜して）見る必要がある。外科医の自然な傾きは、術部における両手に視覚を向けるためである。外科医によってはさらに、手の運動をより精密に制御するために、両手を術部のより近くに移動させたい者もいる。不都合なことに、外科用顕微鏡２００は、外科医にこの柔軟性を与えない。その代わり、外科用顕微鏡２００は容赦なく、全て患者上方の価値ある手術空間を消費しながら、外科医が両目を接眼レンズ２０６に配置し、手術実行中、頭部をアームの長さに保持すべきであると決定付ける。スコープヘッド２０１は外科医の視界を遮るため、外科医は単に患者に視線を落とすことさえもできない。

更に悪いことに、外科用顕微鏡２００によっては、共同術者（例えば、アシスタント外科医、看護師、又は他の臨床スタッフ）用の第２の対の接眼レンズ２０８を含むものがある。第２の対の接眼レンズ２０８は通常、第１の接眼レンズ２０６から直角に位置決めされる。接眼レンズ２０６と２０８との近さは、アシスタントが外科医の近くに立たなければ（又は座らなければ）ならないことを決定付け、動きを更に制限する。これは、幾らかのスペースを有しての施術を好む外科医によっては不快であり得る。拡大恩恵にも拘わらず、外科用顕微鏡２００は外科医の自然な延長ではない。代わりに、手術室内の横柄なディレクターである。

本開示は、立体視覚化カメラ及びロボットアームを含む立体視ロボットシステムに関する。一例の立体視ロボットシステムは、オペレータがロボットアームを使用して立体視覚化カメラを位置決めできるようにしながら、標的手術部位の立体画像を取得するように構成される。本明細書に開示するように、ロボットアームは、非意図的なカメラ移動から生じ得るジッタ又は他のアーチファクトなしで立体視覚化カメラが高分解能画像を記録できるようにする構造的安定性を提供する電子機械的に操作されるジョイントを含む。ロボットアームはまた、オペレータが立体視覚化カメラを異なる位置及び／又は向きに位置決めして、標的手術部位の所望のビューを取得できるようにする構造的柔軟性も提供する。したがって、一例の立体視ロボットシステムは、どこであれ外科医に合った位置で外科医が人生を変える顕微鏡手術を快適に完了できるようにする。

本開示の立体視ロボットシステムは、視覚化装置の物理的制限及び機械的制限ではなく、外科医又は患者の必要に最もよく合う、術野に相対する任意の数の向きで位置決めすることができる。本立体視ロボットシステムは、外科医又は他のオペレータが立体視覚化カメラを楽々と位置決めできるようにする電動ジョイント移動補助を提供するように構成される。幾つかの実施形態では、本立体視ロボットシステムは、立体カメラを位置決めしているオペレータから検出される力に基づいてロボットアームの電動補助付き移動を提供するように構成される。本立体視ロボットシステムはまた、オペレータが立体視覚化カメラの向き及び／又は位置を変更できるようにしながら、オペレータが標的手術部位への視覚的ロックを選択できるようにもし得る。追加又は代替として、本立体視ロボットシステムには、立体視覚化カメラ及び／又はロボットアームが患者、手術スタッフ、及び／又は手術機器に接触するのを阻止する１つ又は複数の境界が構成される。要するに、本立体視ロボットシステムは、一般に制限又は妨げなく顕微鏡外科処置を行う自由を外科医に与えながら、外科医の目の延長として働く。

本明細書に記載される趣旨の態様は、単独で又は本明細書に記載される１つ若しくは複数の他の態様と組み合わせて有用であり得る。上記説明を制限することなく、本開示の第１の態様では、ロボット撮像装置は、セキュア構造又はカートに接続されるように構成されたベースセクションと、ロボットアームであって、ベースセクションに接続される第１の端部、結合インターフェースを含む第２の端部、及び第１の端部を第２の端部に接続する複数のジョイント及びリンクを有するロボットアームとを含む。各ジョイントは、軸の回りでジョイントを回転させるように構成されたモータと、ジョイントのそれぞれの位置を送信するように構成されたジョイントセンサとを含む。本ロボット撮像装置は、結合インターフェースにおいてロボットアームに接続される立体カメラも含む。立体カメラは、標的手術部位の左画像及び右画像を記録して、標的手術部位の立体画像ストリームを生成するように構成される。本ロボット撮像装置は、結合インターフェースに位置決めされ、オペレータにより立体カメラに付与される並進力及び回転力を検出し、並進力及び回転力を示す出力データを送信するように構成されるセンサを更に含む。本ロボット撮像装置は、少なくともロボットアームの現在位置並びに検出された並進力及び回転力に基づいて、ロボットアームのジョイントのそれぞれの回転方向、速度、及び持続時間を指定する１つ又は複数の命令及び／又はデータ構造により定義される少なくとも１つのアルゴリズムを記憶するメモリを更に含む。さらに、本ロボット撮像装置は、センサ及びロボットアームに通信可能に結合される少なくとも１つのプロセッサを含む。センサから、並進力及び回転力を示す出力データを受信することと、メモリ内の少なくとも１つのアルゴリズムを使用して、ロボットアームの現在位置及びセンサからの出力データに基づいてロボットアームの移動シーケンスを決定することとを行うように構成される少なくとも１つのプロセッサ。少なくとも１つのプロセッサはまた、少なくとも１つのジョイントに提供される１つ又は複数のモータ制御信号を介して、決定された移動シーケンスに基づいてロボットアームのジョイントの少なくとも１つを回転させるようにも構成される。少なくとも１つのジョイントの回転は、オペレータによる立体カメラに付与される検出された並進力及び検出された回転力に基づいて、ロボットアームの動力補助付き移動を提供する。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第２の態様によれば、少なくとも１つのプロセッサは、複数のジョイントのジョイントセンサからの出力データに基づいて、ロボットアームの現在位置を特定するように構成される。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第３の態様によれば、センサは、自由度６の触力覚デバイス又はトルクセンサの少なくとも一方を含む。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第４の態様によれば、立体カメラは、動力補助付き移動を可能にするリリースボタンを有する少なくとも１つの制御アームを含み、少なくとも１つのプロセッサは、リリースボタンが選択されたことを示す入力メッセージを受信することと、リリースボタンに関連する入力メッセージを受信した後、センサからの出力データを使用して移動シーケンスを決定することとを行うように構成される。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第５の態様によれば、本装置は、ロボットアームの結合インターフェースに接続するように構成された第１の端部と、立体カメラに接続するように構成された第２の結合インターフェースを含む第２の端部とを有する結合板を更に含む。結合板は、移動シーケンスに従って少なくとも１つのプロセッサにより制御可能なジョイント及びモータのそれぞれの位置を送信するように構成されたジョイントセンサを含む少なくとも１つのジョイントを含む。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第６の態様によれば、センサは、結合インターフェース又は第２の結合インターフェースに配置される。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第７の態様によれば、結合板は、立体カメラを水平向きと垂直向きとの間でオペレータにより手動で回転できるようにする第２のジョイントを含む。第２のジョイントは、第２のジョイントの位置を送信するように構成されたジョイントセンサを含む。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第８の態様によれば、立体カメラは、結合インターフェースにおいてロボットアームに接続するように構成される底面を含む筐体を含む。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第９の態様によれば、ロボット撮像装置はロボットアームを含み、ロボットアームは、セキュア構造に接続される第１の端部、結合インターフェースを含む第２の端部、及び第１の端部を第２の端部に接続する複数のジョイント及びリンクであって、各ジョイントは、軸の回りでジョイントを回転させるように構成されたモータ及びジョイントのそれぞれの位置を送信するように構成されたジョイントセンサを含む、複数のジョイント及びリンクを備える。本ロボット撮像装置はまた、結合インターフェースにおいてロボットアームに接続される撮像デバイスであって、撮像デバイスは、標的手術部位の画像を記録するように構成される、撮像デバイスと、結合インターフェースに位置決めされ、オペレータにより撮像デバイスに付与される力及び／又はトルクを検出し、力及び／又はトルクを示す力及び／又はトルク出力データを送信するように構成されるセンサとを含む。本ロボット撮像装置は、センサ及びロボットアームに通信可能に結合される少なくとも１つのプロセッサを更に含む。少なくとも１つのプロセッサは、センサから力及び／又はトルク出力データを受信することと、力及び／又はトルク出力データを並進ベクトル及び回転ベクトルに変換することと、運動学を使用して、ロボットアームの現在位置並びに並進ベクトル及び回転ベクトルに基づいてロボットアームの移動シーケンスを決定することであって、移動シーケンスは、ロボットアームのジョイントの少なくとも幾つかの移動の回転方向、速度、及び持続時間を指定する、決定することと、少なくとも１つのジョイントに提供される１つ又は複数のモータ制御信号を介して、決定された移動シーケンスに基づいてロボットアームのジョイントの少なくとも１つを回転させることを行うように構成される。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第１０の態様によれば、プロセッサは、移動シーケンスに基づいて、ロボットアームの現在位置又はロボットアームの特徴位置の少なくとも一方に基づいて少なくとも１つのスケーリング係数を決定することと、移動シーケンスの少なくとも１つのジョイント速度にスケーリング係数を適用することとを行うように構成される。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第１１の態様によれば、少なくとも１つのスケーリング係数は、仮想境界からのロボットアーム又は撮像デバイスの距離に基づいて構成される。少なくとも１つのスケーリング係数は、仮想境界に近づくにつれて「０」の値に低減する。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第１２の態様によれば、仮想境界は、患者、医療機器、又は手術室スタッフの少なくとも１つに対応する。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第１３の態様によれば、プロセッサは、少なくとも１つのスケーリング係数が移動シーケンスに適用されたことを示すアイコンをディスプレイデバイスに表示させるように構成される。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第１４の態様によれば、プロセッサは、ロボットアームのジョイント間又はジョイント限界間のジョイント角度に基づいて少なくとも１つのスケーリング係数を決定することと、移動シーケンスの少なくとも１つのジョイント速度にスケーリング係数を適用することとを行うように構成される。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第１５の態様によれば、プロセッサは、力及び／又はトルク出力データに重力補償を提供することと、力適用補償を力及び／又はトルク出力データに提供して、センサのロケーションと力及び／又はトルクがオペレータにより付与される撮像デバイスのロケーションとの間のオフセットを補償することとを行うように構成される。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第１６の態様によれば、プロセッサは、ロボットアームの複数のジョイントのジョイント特異点を特定又は識別して、ヒステリシス及びバックラッシュを制御することと、ジョイント特異点を通してのロボットアーム移動を避けながら、運動学に基づいて移動シーケンスを決定することとを行うように構成される。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第１７の態様によれば、本ロボット撮像装置は、ロボットアームの結合インターフェースに接続するように構成された第１の端部と、立体カメラに接続するように構成された第２の結合インターフェースを含む第２の端部とを有する結合板を更に含む。結合板は、移動シーケンスに従って少なくとも１つのプロセッサにより制御可能なジョイントのそれぞれ及びモータの位置を送信するように構成されたジョイントセンサを含む少なくとも１つのジョイントを含む。センサは、結合インターフェース又は第２の結合インターフェースに配置される。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第１８の態様によれば、ロボットアームは少なくとも４つのジョイントを含み、結合板は少なくとも２つのジョイントを含む。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第１９の態様によれば、プロセッサは、移動シーケンスにより指定される移動の回転方向、速度、及び持続時間を示す１つ又は複数のコマンド信号をジョイントのそれぞれのモータに送信することにより、ロボットアームのジョイントの少なくとも１つに回転させるように構成される。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第２０の態様によれば、プロセッサは、移動シーケンス中、ロボットアームが移動しているとき、撮像デバイスにより記録された画像を比較して、移動シーケンス中、ロボットアームが決定されたように移動していることを確認するように構成される。

別段のことが記される場合を除き、本明細書に列記される任意の他の態様と併せて使用し得る本開示の第２１の態様によれば、運動学は、逆運動学又はヤコビアン運動学の少なくとも一方を含む。

本開示の２２の態様によれば、図３〜図６５に関連して示され説明される構造及び機能は、図３〜図６５の任意の他の図及び先の態様の任意の１つ又は複数に関連して示され説明される任意の構造及び機能と組み合わせて使用し得る。

したがって、上記態様及び本明細書における開示に鑑みて、本開示の利点は、立体カメラとロボットアームとの間でシームレスな調整を提供する立体視ロボットシステムを提供することである。

本開示の別の利点は、ロボットアームを使用して、立体視ロボットカメラの焦点距離、作業距離、及び／又は倍率を上げる立体視ロボットシステムを提供することである。

本開示の更なる別の利点は、オペレータにより立体カメラに付与される力／トルクに基づいてロボットアームの動力補助付き移動を提供する立体視ロボットシステムを提供することである。

本明細書で考察された利点は、本明細書に開示される実施形態の１つ又は幾つかで見出し得、恐らく本明細書に開示される実施形態の全てで見出されるわけではない。追加の特徴及び利点が本明細書に記載され、以下の詳細な説明及び図から明らかになろう。

図１は、一対の従来技術による外科用ルーペの図を示す。 図２は、従来技術による外科用顕微鏡の図を示す。 図３は、本開示の実施形態例による立体視覚化カメラの斜視図の図を示す。 図４は、本開示の実施形態例による立体視覚化カメラの斜視図の図を示す。 図５は、本開示の実施形態例による、図３及び図４の立体視覚化カメラを含む顕微鏡手術環境の図を示す。 図６は、本開示の実施形態例による、図３及び図４の立体視覚化カメラを含む顕微鏡手術環境の図を示す。 図７は、本開示の実施形態例による、図３〜図６の一例の立体視覚化カメラ内の光学要素を示す図を示す。 図８は、本開示の実施形態例による、図３〜図６の一例の立体視覚化カメラ内の光学要素を示す図を示す。 図９は、本開示の実施形態例による、図７及び図８の一例の立体視覚化カメラの偏向要素の図を示す。 図１０は、本開示の実施形態例による、図７及び図８の一例の立体視覚化カメラの右光学画像センサ及び左光学画像センサの一例の図を示す。 図１１は、本開示の実施形態例による、図７及び図８の一例の立体視覚化カメラの光学要素の一例のキャリアの図を示す。 図１２は、本開示の実施形態例による、図７及び図８の一例の立体視覚化カメラの光学要素の一例のキャリアの図を示す。 図１３は、本開示の実施形態例による、図７及び図８の一例の立体視覚化カメラの一例の屈曲部の図を示す。 図１４は、本開示の実施形態例による、画像データを取得し処理する一例の立体視覚化カメラのモジュールの図を示す。 図１５は、本開示の実施形態例による図１４のモジュールの内部構成要素の図を示す。 図１６は、本開示の実施形態例による、図１４及び図１５の情報プロセッサモジュールの図を示す。 図１７は、本開示の実施形態例によるディスプレイモニタの一例を示す。 図１８は、右光路と左光路との間の疑似視差を示す図を示す。 図１９は、右光路と左光路との間の疑似視差を示す図を示す。 図２０は、右光路と左光路との間の疑似視差を示す図を示す。 図２１は、右光路と左光路との間の疑似視差を示す図を示す。 図２２は、右光路及び左光路のそれぞれの２枚の平行レンズの位置に関連したピンボケ状況を示す図を示す。 図２３は、立体画像に融合される際、疑似視差がデジタルグラフィックス及び／又は画像の精度をいかに失わせるかを示す図を示す。 図２４は、立体画像に融合される際、疑似視差がデジタルグラフィックス及び／又は画像の精度をいかに失わせるかを示す図を示す。 図２５は、本開示の実施形態例による、疑似視差を低減するか、又はなくす一例の手順を示す流れ図を示す。 図２６は、本開示の実施形態例による、疑似視差を低減するか、又はなくす一例の手順を示す流れ図を示す。 図２７は、本開示の実施形態例による、光学画像センサのピクセルグリッドに対してズーム反復点がいかに調整されるかを示す図を示す。 図２８は、本開示の実施形態例による、ズーム反復点を見つけるテンプレート照合プログラムを示す図を示す。 図２９は、本開示の実施形態例による、ズーム反復点を見つけるテンプレート照合プログラムを示す図を示す。 図３０は、本開示の実施形態例による、ズーム反復点を見つけるテンプレート照合プログラムを示す図を示す。 図３１は、本開示の実施形態例による、ズーム反復点を見つけるテンプレート照合プログラムを示す図を示す。 図３２は、本開示の実施形態例による、ズーム反復点を見つけるテンプレート照合プログラムを示す図を示す。 図３３は、本開示の実施形態例による図５の顕微鏡手術環境の側面図を示す。 図３４は、本開示の実施形態例による図５のロボットアーム例の実施形態を示す。 図３５は、本開示の実施形態例による、カートに接続された図３３及び図３４のロボットアームの図を示す。 図３６は、本開示の実施形態例による、図３３及び図３４のロボットアームが天井板に搭載される図を示す。 図３７は、本開示の実施形態例による、ロボットアームの結合板の実施形態を示す。 図３８は、本開示の実施形態例による、異なる回転位置における結合板の図を示す。 図３９は、本開示の実施形態例による、異なる回転位置における結合板の図を示す。 図４０は、本開示の実施形態例による、異なる回転位置における結合板の図を示す。 図４１は、本開示の実施形態例による、図３〜図４０の立体視ロボットプラットフォームの実施形態を示す。 図４２は、本開示の実施形態例による、図３〜図３３の立体視覚化カメラを較正する手順又はルーチンの一例を示す。 図４３は、本開示の実施形態例による、離散ステップで物体平面を移動させる図３〜図３３及び図４２の立体視覚化カメラ例の実施形態を示す。 図４４は、本開示の実施形態例による、図３〜図３３及び図４２の立体視覚化カメラの投影中心を決定する、プロセッサにより実行可能なルーチンを示すグラフを示す。 図４５は、本開示の実施形態例による、図３〜図３３の立体視覚化カメラの瞳孔間距離がいかに測定され較正されるかを示す光学概略の平面図を示す。 図４６は、本開示の実施形態例による、図３〜図３３の立体視覚化カメラの光軸をいかに測定し較正し得るかを示す光学概略の平面図を示す。 図４７は、本開示の実施形態例による、光学パラメータが十分に特徴付けられた較正済み立体視覚化カメラの図を示す。 図４８は、本開示の実施形態例による、図５及び図３３〜図４１のロボットアームを較正する手順又はルーチンの例を示す。 図４９は、本開示の実施形態例による、立体視覚化カメラ及び／又はロボットアームがロボット空間に対していかに較正されるかを示す図を示す。 図５０は、本開示の実施形態例による、立体視覚化カメラ及び／又はロボットアームの移動を制限する水平及び垂直境界プランを示す図を示す。 図５１は、本開示の実施形態例による、ロボットアームの回転ジョイント速度及び／又は結合板が境界までの距離に基づいていかにスケーリングされるかの一例を示す。 図５２は、本開示の実施形態例による、代替モダリティ視覚化からの画像を立体画像と融合する手順の一例の図を示す。 図５３は、本開示の実施形態例による、図３〜図５２の立体視覚化カメラ及び／又はロボットアームの組合せにより生成されるライブ断面融合視覚化を示す図を示す。 図５４は、本開示の実施形態例による、図３〜図５２の立体視覚化カメラ及び／又はロボットアームの組合せにより生成されるライブ断面融合視覚化を示す図を示す。 図５５は、本開示の実施形態例による、図３〜図５２の立体視覚化カメラ及び／又はロボットアームの組合せにより生成されるライブ断面融合視覚化を示す図を示す。 図５６は、本開示の実施形態例による、図３〜図５２の立体視覚化カメラ及び／又はロボットアームの組合せにより生成されるライブ断面融合視覚化を示す図を示す。 図５７は、本開示の実施形態例による、図３〜図５２の立体視覚化カメラ及び／又はロボットアームの組合せにより生成されるライブ断面融合視覚化を示す図を示す。 図５８は、本開示の実施形態例による、図３〜図５２の立体視覚化カメラ及び／又はロボットアームの組合せにより生成されるライブ断面融合視覚化を示す図を示す。 図５９は、本開示の実施形態例による、図３〜図５２の立体視覚化カメラ及び／又はロボットアームの組合せにより生成されるライブ断面融合視覚化を示す図を示す。 図６０は、本開示の実施形態例による、図３〜図５２の立体視覚化カメラ及び／又はロボットアームの組合せにより生成されるライブ断面融合視覚化を示す図を示す。 図６１は、本開示の実施形態例による、図３〜図５２の立体視覚化カメラ及び／又はロボットアームの組合せにより生成されるライブ断面融合視覚化を示す図を示す。 図６２は、本開示の実施形態例による、図３〜図５２の立体視覚化カメラの補助付き駆動を提供する手順を示す図を示す。 図６３は、本開示の実施形態例による、入力デバイスを使用して図３〜図５２の視覚化カメラ例を移動させる手順の一例の図を示す。 図６４は、本開示の実施形態例による、立体視覚化カメラの標的ロックを提供するアルゴリズム、ルーチン、又は手順を示す図を示す。 図６５は、本開示の実施形態例による、図６４の標的ロック特徴の仮想球を示す図を示す。

本開示は、一般には立体視覚化カメラ及びプラットフォームに関する。立体視覚化カメラはデジタル立体顕微鏡（「ＤＳＭ」）と呼ばれることもある。一例のカメラ及びプラットフォームは、従来技術による顕微鏡（図１の外科用ルーペ１００及び図２の外科用顕微鏡２００等）よりもはるかに小型、軽量であり、操作しやすい自己充足型ヘッドユニットに顕微鏡光学要素及びビデオセンサを統合するように構成される。一例のカメラは、立体ビデオ信号を１つ又は複数のテレビジョンモニタ、プロジェクタ、ホログラフィックデバイス、スマートメガネ、仮想現実デバイス、又は外科環境内の他の視覚ディスプレイデバイスに送信するように構成される。

モニタ又は他の視覚的ディスプレイデバイスは外科環境内に位置決めされて、患者に手術を行っている間、外科医の視線内に容易にあるようにし得る。この柔軟性により、外科医は、個人の好み又は習慣に基づいてディスプレイモニタを配置することができる。加えて、本明細書に開示される立体視覚化カメラの柔軟性及びスリムな外形は、患者の上方で消費されるエリアを低減する。完全に、立体視覚化カメラ及びモニタ（例えば、立体視覚化プラットフォーム）は、外科医及び外科チームが上述した外科用顕微鏡２００と比較して、移動を決定付けられず又は制限されずに患者に対して複雑な顕微鏡手術処置を行えるようにする。それに従って一例の立体視覚化プラットフォームは、外科医の目の延長として動作して、外科医が、従来既知の視覚化システムによって引き起こされるストレス、制限、及び制約に対応せずに傑作の顕微鏡手術を行えるようにする。

本明細書における開示は一般に、顕微鏡手術を参照する。一例の立体視覚化カメラは、例えば、頭蓋手術、脳外科手術、神経外科、脊髄手術、眼科手術、角膜移植、整形外科手術、耳、鼻、及び喉の手術、歯科手術、整形手術及び再建手術、又は一般的な手術を含め、略あらゆる顕微鏡手術処置に使用することができる。

本開示は、標的部位、シーン、又は視野も参照する。本明細書で使用される場合、標的部位又は視野は、一例の立体視覚化カメラにより記録又は他の方法で撮像されている物体（又は物体の部分）を含む。一般に、標的部位、シーン、又は視野は、一例の立体視覚化カメラの主対物レンズ組立体から作業距離分、離れており、一例の立体視覚化カメラと位置合わせされる。標的部位は、患者の生体組織、骨、筋肉、皮膚、又はそれらの組合せを含み得る。これらの場合、標的部位は、患者の解剖学的構造の進行に対応する深度成分を有することにより三次元であり得る。標的部位は、一例の立体視覚化カメラの較正又は検証に使用される１つ又は複数のテンプレートを含むこともできる。テンプレートは、紙（又はプラスチックシート）上のグラフィック設計等の二次元又は特定の領域での患者の解剖学的構造の近似等の三次元であり得る。

全体を通して、ｘ方向、ｙ方向、ｚ方向、及びチルト方向も参照される。ｚ方向は、一例の立体視覚化カメラから標的部位への軸に沿い、一般に深度と呼ばれる。ｘ方向及びｙ方向は、ｚ方向に入射する平面にあり、標的部位の平面を構成する。ｘ方向は、ｙ方向の軸から９０°の軸に沿う。ｘ方向及び／又はｙ方向に沿った運動は、平面内運動と呼ばれ、一例の立体視覚化カメラの運動、一例の立体視覚化カメラ内の光学要素の運動、及び／又は標的部位の運動を指し得る。

チルト方向は、ｘ方向、ｙ方向、及び／又はｚ方向に対してオイラー角（例えば、ヨー軸、ピッチ軸、及びロール軸）に沿った運動に対応する。例えば、完璧に位置合わせされたレンズは、ｘ方向、ｙ方向、及び／又はｚ方向に対して略０°を有する。換言すれば、レンズの面は、ｚ方向に沿った光に対して９０°、すなわち、直交する。加えて、レンズの縁部（レンズが矩形を有する場合）は、ｘ方向及びｙ方向に沿って平行する。レンズ及び／又は光学画像センサは、ヨー運動、ピッチ運動、及び／又はルール運動を通してチルトすることができる。例えば、レンズ及び／又は光学画像センサは、ｚ方向に対して、ピッチ軸に沿ってチルトして、上方又は下方に面し得る。ｚ方向に沿った光は、非直角でレンズの面（上方又は下方にピッチされる）に接触する。ヨー軸、ピッチ軸、又はロール軸に沿ったレンズ及び／又は光学画像センサのチルトにより、例えば、焦点又はＺＲＰを調整することができる。

Ｉ．一例の立体視覚化カメラ
図３及び図４は、本開示の実施形態例による立体視覚化カメラ３００の斜視図の図を示す。一例のカメラ３００は、光学要素、レンズモータ（例えば、アクチュエータ）、及び信号処理回路を囲むように構成された筐体３０２を含む。カメラ３００は、幅（ｘ軸に沿う）１５センチメートル（ｃｍ）〜２８ｃｍ、好ましくは約２２ｃｍを有する。加えて、カメラ３００は、長さ（ｙ軸に沿う）１５ｃｍから３２ｃｍ、好ましくは約２５ｃｍを有する。さらに、カメラ３００は、高さ（ｚ軸に沿う）１０ｃｍ〜２０ｃｍ、好ましくは約１５ｃｍを有する。カメラ３００の重さは３ｋｇ〜７ｋｇ、好ましくは約３．５ｋｇである。

カメラ３００は制御アーム３０４ａ及び３０４ｂ（例えば、操作ハンドル）も含み、制御アームは、倍率レベル、フォーカス、及び他の顕微鏡特徴を制御するように構成される。制御アーム３０４ａ及び３０４ｂは、特定の特徴をアクティブ化又は選択する各制御機構３０５ａ及び３０５ｂを含み得る。例えば、制御アーム３０４ａ及び３０４ｂは、蛍光モードを選択し、標的部位に投影される光の量／タイプを調整し、ディスプレイ出力信号（例えば、１０８０ｐ又は４Ｋ及び／又は立体視の選択）を制御する制御機構３０５ａ及び３０５ｂを含み得る。加えて、制御機構３０５ａ及び／又は３０５ｂは、較正手順の開始及び／又は実行及び／又は立体視覚化カメラ３００に接続されたロボットアームの移動に使用し得る。幾つかの場合、制御機構３０５ａ及び３０５ｂは同じボタン及び／又は特徴を含み得る。他の場合、制御機構３０５ａ及び３０５ｂは異なる特徴を含み得る。さらに、制御アーム３０４ａ及び３０４ｂは、オペレータが立体視覚化カメラ３００を位置決めできるようにするグリップとして構成することもできる。

各制御アーム３０４は、図３に示されるように、回転可能な支柱３０６を介して筐体３０２に接続される。この接続により、制御アーム３０４は筐体３０２に対して回転することができる。この回転は、外科医が制御アーム３０４を所望のように配置する柔軟性を提供し、外科性能と同期する立体視覚化カメラ３００の適応性を更に強化する。

図３及び図４に示される一例のカメラ３００は、２つの制御アーム３０４ａ及び３０４ｂを含むが、カメラ３００が１つのみの制御アームを含んでもよく、又は制御アームを含まなくてもよいことを理解されたい。立体視覚化カメラ３００が制御アームを含まない場合、制御機構は筐体３０２に統合し、及び／又は遠隔制御機構を介して提供し得る。

図４は、本開示の実施形態例による立体視覚化カメラ３００の後ろ側の下から上への斜視図を示す。立体視覚化カメラ３００は、支持体に接続するように構成された取り付けブラケット４０２を含む。図５及び図６においてより詳細に説明するように、支持体は、大きな可操作性を提供する１つ又は複数のジョイントを有するアームを含み得る。アームは、可動カートに接続してもよく、又は壁若しくは天井に固定してもよい。

立体視覚化カメラ３００は、電力アダプタを受けるように構成された電力ポート４０４も含む。電力は、ＡＣコンセント及び／又はカートの電池から受け取り得る。幾つかの場合、立体視覚化カメラ３００は、内部電池を含み、コードなしの動作を促進し得る。これらの場合、電力ポート４０４は、電池の充電に使用し得る。代替の実施形態では、電力ポート４０４は、立体視覚化カメラ３００が支持体内のワイヤ（又は他の導電性配線材料）を介して電力を受け取るように取り付けブラケット４０２に統合し得る。

図４は、立体視覚化カメラ３００がデータポート４０６を含み得ることも示す。一例のデータポート４０６は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）インターフェース、高精細マルチメディアインターフェース（「ＨＤＭＩ（登録商標）」）インターフェース、ユニバーサルシリアルバス（「ＵＳＢ」）インターフェース、シリアルデジタルインターフェース（「ＳＤＩ」）、デジタル光学インターフェース、ＲＳ−２３２シリアル通信インターフェース等を含む任意のタイプのポートを含み得る。データポート４０６は、立体視覚化カメラ３００と、１つ又は複数の計算デバイス、サーバ、記録デバイス、及び／又はディスプレイデバイスに配線されたコードとの間に通信接続を提供するように構成される。通信接続は、更なる処理、記憶、及び／又は表示のために、立体ビデオ信号又は二次元ビデオ信号を送信し得る。データポート４０６は、制御信号を立体視覚化カメラ３００に送信できるようにもし得る。例えば、接続されたコンピュータ（例えば、ラップトップコンピュータ、デスクトップコンピュータ、及び／又はタブレットコンピュータ）におけるオペレータは、操作の指示、較正の実行、又は出力ディスプレイ設定の変更を行う制御信号を立体視覚化カメラ３００に送信し得る。

幾つかの実施形態では、データポート４０６は、無線インターフェースと置換（及び／又は無線インターフェースで補足）し得る。例えば、立体視覚化カメラ３００は、Ｗｉ−Ｆｉを介して立体ディスプレイ信号を１つ又は複数のディスプレイデバイスに送信し得る。内部電池と組み合わせた無線インターフェースの使用により、立体視覚化カメラ３００をワイヤフリーにすることができ、それにより、外科環境内の可操作性を更に改善する。

図４に示される立体視覚化カメラ３００は、主対物レンズ組立体の前部作業距離主対物レンズ４０８も含む。一例のレンズ４０８は、立体視覚化カメラ３００内の光路の開始部にある。立体視覚化カメラ３００内部の光源からの光は、レンズ４０８を通して標的部位に送られる。さらに、標的部位から反射された光は、レンズ４０８で受け取られ、下流の光学要素に渡される。

ＩＩ．立体視覚化カメラの例示的な可操作性
図５及び図６は、本開示の実施形態例による、顕微鏡手術環境５００内で使用される立体視覚化カメラ３００の図を示す。示されるように、立体視覚化カメラ３００の小さなフットプリント及び可操作性は（特に多度自由度アームと併せて使用される場合）、患者５０２に対する柔軟な位置決めを可能にする。立体視覚化カメラ３００の図中の患者５０２の一部は、標的部位５０３を含む。外科医５０４は、患者５０２（仰臥位で横たわっている）の上方に十分過ぎるほどの手術空間を残しながら、立体視覚化カメラ３００を略あらゆる向きで位置決めすることができる。それに従って立体視覚化カメラ３００は最小の侵襲性で（又は非侵襲的に）外科医５０４が妨害又は邪魔なしで人生を変える顕微鏡手術処置を行えるようにする。

図５では、立体視覚化カメラ３００は、取り付けブラケット４０２を介して機械アーム５０６に接続される。アーム５０６は、電子機械ブレーキを有する１つ又は複数の回転又は延長可能なジョイントを含み、立体視覚化カメラ３００の容易な再位置決めを促進し得る。立体視覚化カメラ３００を動かすために、外科医５０４又はアシスタント５０８は、アーム５０６の１つ又は複数のジョイントのブレーキ解放を作動させる。立体視覚化カメラ３００が所望の位置に動かした後、ブレーキを係合させて、アーム５０６のジョイントを所定位置にロックし得る。

立体視覚化カメラ３００の大きな特徴は、接眼レンズを含まないことである。これは、立体視覚化カメラ３００を外科医５０４の目と位置合わせする必要がないことを意味する。この自由により、従来既知の外科用顕微鏡では実際的又は可能ではなかった所望の位置に立体視覚化カメラ３００を位置決め方向付けることができる。換言すれば、外科医５０４は、外科用顕微鏡の接眼レンズにより決められる単に適切なビューに制限されるのではなく、処置を行うのに最適なビューを用いて顕微鏡手術を行うことができる。

図５に戻ると、立体視覚化カメラ３００は、機械アーム５０６を介して、ディスプレイモニタ５１２及び５１４を有するカート５１０（集合的に立体視覚化プラットフォーム又は立体ロボットプラットフォーム５１６）に接続される。図示の構成では、立体視覚化プラットフォーム５１６は自己充足型であり、手術室間を含め、顕微鏡手術環境５００内の任意の所望のロケーションに移動し得る。統合プラットフォーム５１６は、ディスプレイモニタ５１２及び５１４を接続することによりシステムを構成する必要な時間なしで、立体視覚化カメラ３００を需要に応じて移動及び使用できるようにする。

ディスプレイモニタ５１２及び５１４は、高精細テレビジョン、超高精細テレビジョン、スマートメガネ、プロジェクタ、１つ又は複数のコンピュータ画面、ラップトップコンピュータ、タブレットコンピュータ、及び／又はスマートフォンを含む任意のタイプのディスプレイを含み得る。ディスプレイモニタ５１２及び５１４は、立体視覚化カメラ３００と同様に、機械アームに接続されて、柔軟な位置決めを可能にし得る。幾つかの場合、ディスプレイモニタ５１２及び５１４はタッチスクリーンを含み得、オペレータが立体視覚化カメラ３００にコマンドを送信し、及び／又はディスプレイの設定を調整できるようにする。

幾つかの実施形態では、カート５１６はコンピュータ５２０を含み得る。これらの実施形態では、コンピュータ５２０は、立体視覚化カメラ３００に接続されたロボット機械アームを制御し得る。追加又は代替として、コンピュータ５２０は、ディスプレイモニタ５１２及び５１４に表示するために、立体視覚化カメラ３００からのビデオ（又は立体ビデオ）信号（例えば、画像ストリーム又はフレームストリーム）を処理し得る。例えば、コンピュータ５２０は、立体視覚化カメラ３００からの左ビデオ信号及び右ビデオ信号を結合又はインターリーブして、標的部位の立体画像を表示する立体信号を作成し得る。コンピュータ５２０はまた、ビデオ信号及び／又は立体ビデオ信号をビデオファイルに記憶する（メモリに記憶される）のに使用することもでき、それにより、外科医の施術を文書化し、再生することができる。さらに、コンピュータ５２０は、設定を選択及び／又は較正を実行する制御信号を立体視覚化カメラ３００に送信することもできる。

幾つかの実施形態では、図５の顕微鏡手術環境５００は眼科手術処置を含む。この実施形態では、機械アーム５０６は患者の目の周回掃引を実行するようにプログラムし得る。そのような掃引により、外科医は、硝子体網膜処置中、周辺部網膜を調べることができる。これとは対照的に、従来の光学顕微鏡を用いる場合、外科医が周辺部網膜を見ることができる唯一の方法は、強膜圧迫法として知られる技法を用いて目の横を視野内に押すことである。

図６は、後方到達法頭蓋底神経外科手術のために患者５０２が着座位置にある顕微鏡手術環境５００の図を示す。図示の実施形態では、立体視覚化カメラ３００は、患者５０２の後頭部に面するように水平位置に配置される。機械アーム５０６は、立体視覚化カメラ３００を示されるように位置決めできるようにするジョイントを含む。加えて、カート５１０はモニタ５１２を含み、モニタ５１２は外科医の自然な閲覧方向と位置合わせし得る。

接眼レンズがないことにより、立体視覚化カメラ３００を水平に、外科医５０４の目の高さのビューよりも低く位置決めすることができる。さらに、比較的軽量であり、柔軟性があることにより、他の既知の外科用顕微鏡では想像できないように立体視覚化カメラ３００を位置決めすることができる。それにより、立体視覚化カメラ３００は、任意の所望の位置及び／又は向きの患者５０２及び／又は外科医５０４に顕微鏡手術ビューを提供する。

図５及び図６は、立体視覚化カメラ３００を位置決めする２つの実施形態例を示すが、立体視覚化カメラ３００が、機械アーム５０６の自由度の数に応じて任意の数の位置に位置決め可能なことを理解されたい。幾つかの実施形態では、上に面する（例えば、逆さまになる）ように立体視覚化カメラ３００を位置決めすることが完全に可能である。

ＩＩＩ．既知の外科用顕微鏡との一例の立体視覚化プラットフォームの比較
図３から図６の立体視覚化カメラ３００を図２の外科用顕微鏡２００と比較すると、違いは容易に明らかである。外科用顕微鏡への接眼レンズ２０６の包含により、外科医は常に目を、スコープヘッド２０１及び患者に対して一定位置にある接眼レンズに向ける必要がある。さらに、外科用顕微鏡の嵩張り及び重量により、外科用顕微鏡は患者に対して概して垂直の向きでしか位置決めすることができない。これとは対照的に、一例の立体視覚化カメラ３００は、接眼レンズを含まず、患者に対して任意の向き又は位置に位置決めすることができ、それにより、術中、外科医は自由に移動することができる。

他の臨床スタッフが顕微鏡手術標的部位を見られるようにするためには、外科用顕微鏡２００では第２の接眼レンズ２０８を追加する必要がある。一般に、最も既知の外科用顕微鏡２００では、第３の接眼レンズを追加することができない。これとは対照的に、一例の立体視覚化カメラ３００は、無制限数のディスプレイモニタに通信可能に結合することができる。図５及び図６は先に、カート５１０に接続されたディスプレイモニタ５１２及び５１４を示したが、手術室は、立体視覚化カメラ３００によって記録された顕微鏡手術ビューを全て示すディスプレイモニタで囲むことができる。したがって、ビューを１人又は２人に制限する（又は接眼レンズの共有を必要とする）代わりに、外科チーム全体が標的術部の拡大ビューを見ることができる。さらに、訓練室及び観察室等の他の部屋内の人々に、外科医に表示されたものと同じ拡大ビューを提示することができる。

立体視覚化カメラ３００と比較して、２接眼レンズ外科用顕微鏡２００は、衝突又は非意図的な移動をより受けやすい。術中、外科医は、接眼レンズを通して見るために、頭を接眼レンズ２０６及び２０８上に配置するため、スコープヘッド２０１は一定の力及び周期的な衝突を受ける。第２の接眼レンズ２０８の追加は、第２の角度からの力を倍にする。一緒に、外科医による一定の力及び定期的な衝突は、スコープヘッド２０１を動かし得、それにより、スコープヘッド２０１の再位置決めが必要になる。この再位置決めは、外科処置を遅延させ、外科医を不快にさせる。

一例の立体視覚化カメラ３００は、接眼レンズを含まず、所定位置にロックされると、外科医からの接触を受け取る意図はない。これは、外科医の施術中、立体視覚化カメラ３００が非意図的に動く又は衝突する可能性の大幅な低下に対応する。

第２の接眼レンズ２０８を促進するために、外科医用顕微鏡２００は、ビームスプリッタ２１０を装備する必要があり、ビームスプリッタ２１０は、精密金属管内に収容されたガラスレンズ及びミラーを含み得る。ビームスプリッタ２１０の使用は第１の接眼レンズで受け取る光を低減させ、その理由は、光の幾らかが第２の接眼レンズ２０８に反射されるためである。さらに、第２の接眼レンズ２０８及びビームスプリッタ２１０の追加は、スコープヘッド２０１の重量及び嵩張りを増大させる。

外科用顕微鏡２００とは対照的に、立体視覚化カメラ３００は、センサの光路のみを含み、それにより、重量及び嵩張りを低減する。加えて、光の一部をリダイレクトするビームスプリッタが必要ないため、光学センサは入射光全てを受け取る。これは、一例の立体視覚化カメラ３００の光学センサによって受信される画像が、可能な限り明るくクリアであることを意味する。

外科用顕微鏡の幾つかのモデルは、ビデオカメラを取り付けることができ得る。例えば、図２の外科用顕微鏡２００は、ビームスプリッタ２１４を介して光路に接続された平面視ビデオカメラ２１２を含む。ビデオカメラ２１２は、Ｌｅｉｃａ（登録商標）ＴｒｕｅＶｉｓｉｏｎ（登録商標）３Ｄ視覚化システム眼科カメラ等の平面視又は立体視であり得る。ビデオカメラ２１２は、ディスプレイモニタに表示するためにビームスプリッタ２１４から受信した画像を記録する。ビデオカメラ２１２及びビームスプリッタ２１４の追加は、スコープヘッド２０１の重量を更に追加する。加えて、ビームスプリッタ２１４は、接眼レンズ２０６及び／又は２０８に向かう追加の光を消費する。

各ビームスプリッタ２１０及び２１４は、入射光を部分的に３つの経路に分割し、光を外科医のビューから除去する。外科医の目は、外科医に提示された術部からの光が、外科医が処置を行うことができるようにするのに十分でなければならないような、限られた低光感度を有する。しかしながら、外科医は、特に眼科処置では、患者の標的部位に適用される光の強度を上げることが常に可能であるわけではない。患者の目は限られた高光感度を有し、それを超えると光毒性が生じる。したがって、ビームスプリッタの数並びに割合及び補助デバイス２０８及び２１２を使用できるようにするために第１の接眼レンズ２０６から分割することができる光の量には制限がある。

図３から図６の一例の立体視覚化カメラ３００はビームスプリッタを含まず、それにより、光学撮像センサは、主対物レンズ組立体からの全量の光を受け取る。これにより、事後処理によりモニタでの表示に十分明るく可視（及び調整可能）にすることができるため、低光感度を有するセンサ、さらには使用する可視光の波長外の感度を有する光学センサの使用が可能になる。

さらに、光路を画定する光学要素は、立体視覚化カメラ３００それ自体内に含まれるため、カメラを通して制御することができる。この制御により、光学要素の配置及び調整を顕微鏡接眼レンズではなく三次元立体表示に向けて最適化することができる。カメラのこの構成により、制御をカメラ制御機構から又はリモートコンピュータから電子的に提供することができる。加えて、制御は、ズームしながらフォーカスを維持するように、又は光学欠陥及び／又は疑似視差に関して調整するように、光学要素を調整するように構成された、カメラ３００に搭載される１つ又は複数のプログラムを通して自動的に提供することができる。これとは対照的に、外科用顕微鏡２００の光学要素は、ビデオカメラ２１２の外部にあり、一般に接眼レンズ２０６を通した標的部位の閲覧に向けて最適化されたオペレータ入力を介してのみ制御される。

最後の比較では、外科用顕微鏡２００は、視野又は標的部位を動かすＸ−Ｙパンデバイス２２０を含む。Ｘ−Ｙパンデバイス２２０は、外科用スコープヘッド２０１をしっかりと支持し移動させなければならないため、通常、大きく、重く、高価な電子機械モジュールである。加えて、スコープヘッド２０１を移動させると、接眼レンズ２０６の新しい位置に外科医の位置が変わる。

これとは対照的に、一例の立体視覚化カメラ３００は、実行されると、プロセッサに、広いピクセルグリッドにわたりＸ−Ｙパンを可能にする光学センサのピクセルデータを選択あっせる命令を含むメモリを含む。加えて、一例の立体視覚化カメラ３００は、主対物レンズ光学要素を制御して、カメラ３００を移動させずに標的部位までの作業距離を偏向する小型のモータ又はアクチュエータを含み得る。

ＩＶ．立体視覚化カメラの一例の光学要素
図７及び図８は、本開示の実施形態例による、図３から図６の一例の立体視覚化カメラ３００内の光学要素を示す図を示す。立体画像を構築するために、標的部位の左ビュー及び右ビューを取得することは比較的簡単に見え得る。しかしながら、入念な設計及び補償なしでは、多くの立体画像は左ビューと右ビューとの間の位置合わせ問題を有する。長時間にわたり見られる場合、位置合わせ問題は、左ビューと右ビューとの違いの結果として観察者の脳に混乱を生み出す恐れがある。この混乱は、頭痛、疲労、目眩、更には吐き気を生じさせる恐れがある。

一例の立体視覚化カメラ３００は、他の左及び右光学要素が共通キャリアに固定されている間、幾つかの光学要素の独立した制御及び／又は調整を用いる右光路及び左光路を有することにより、位置合わせ問題を低減する（又はなくす）。実施形態例では、幾つかの左及び右ズームレンズは共通キャリアに固定して、左倍率及び右倍率が略同じであることを保証し得る。しかしながら、前部レンズ又は後部レンズは独立して、半径方向、回転、軸方向で調整可能であり、及び／又はチルトして、ズーム反復点の移動等のズーム浴び率の小さな差、視覚的欠陥、及び／又は疑似視差を補償し得る。調整可能なレンズにより提供される補償は、全ズーム倍率範囲を通して略完全に位置合わせされた光路を生じさせる。

追加又は代替として、位置合わせ問題は、ピクセル読み出し及び／又はレンダリング技法を用いて低減し得る（又はなくし得る）。例えば、右画像（右光学センサにより記録される）は、左画像（左光学センサにより記録される）に対して上方又は下方に調整されて、画像間の垂直位置合わせずれを補正し得る。同様に、右画像も左画像に対して左又は右に調整されて、画像間の水平位置合わせずれを補正し得る。

図７及び図８は、アーチファクト、疑似視差、及び歪みが略ない、位置合わせされた光路を提供する光学要素の一例の構成及び位置を以下に示す。後述するように、特定の光学要素は、較正及び／又は使用中に移動して、光路を更に位置合わせし、いかなる残留ひずみ、疑似視差、及び／又は欠陥も除去し得る。図示の実施形態では、光学要素は２つの並行路に位置決めされて、左ビュー及び右ビューを生成する。代替の実施形態は、折り畳まれ、偏向され、又は他の方法で平行ではない光路を含み得る。

図示の経路は、立体視ディスプレイに表示された左ビュー及び右ビューが、約４フィート（約１．２ｍ）先にある物体を見ている成人である人間の目の集束角と同様である概ね６度の集束角を生み出す距離だけ隔てられるように見えるような人間の視覚系に対応し、それにより、立体視を生み出す。幾つかの実施形態では、左ビュー及び右ビューから生成される画像データは、ディスプレイモニタ５１２及び５１４で一緒に結合されて、標的部位又は標的シーンの立体画像を生成する。代替の実施形態は、左ビューが閲覧者の左目のみに提示され、対応する右ビューが右目のみに提示される他の立体ディスプレイを備える。適切な位置合わせ及び較正の調整及び検証に使用される例示的な実施形態では、両ビューとも両目に重ねて表示される。

立体ビューは、人間の視覚系をより密に模倣するため、平面ビューよりも優れている。立体ビューは、奥行き知覚、距離知覚、及び相対サイズ知覚を提供して、標的術部のよりリアルなビューを外科医に提供する。網膜手術等の処置では、外科的な運動及び力はあまりに小さく、外科医はそれらを感じることができないため、立体ビューは不可欠である。立体ビューの提供は、脳が奥行きを知覚しながら些少な運動を検知する場合、外科医の脳が触覚を拡大させるのに役立つ。

図７は、透明であり、光学要素を露出させる筐体３０２を有する一例の立体視覚化カメラ３００の側面図を示す。図８は、図７に示される光学要素により提供された光路を示す図を示す。図８に示されるように、光路は右光路及び左光路を含む。図８における光路は、前方向に面し、立体視覚化カメラ３００を見下ろす視点から示される。この図から、左光路は図８の右側に見え、一方、右光路は左側に示される。

図７に示される光学要素は、左光路の部分である。図７における右光路が一般に、光学要素の関係ロケーション及び構成に関して左光路と同一であることを理解されたい。上述したように、光路の中心間の瞳孔間距離は５８ｍｍから７０ｍｍであり、これは１０ｍｍから２５ｍｍにスケーリングし得る。各光学要素は、特定の直径（例えば、２ｍｍ〜２９ｍｍ）を有するレンズを備える。したがって、光学要素自体間の距離は、１ｍｍ〜２３ｍｍ、好ましくは約１０ｍｍである。

一例の立体視覚化カメラ３００は、標的部位７００（シーン又は視野（「ＦＯＶ」又は標的手術部位とも呼ばれる）の画像を取得するように構成される。標的部位７００は患者の解剖学的構造の位置を含む。標的部位７００は、研究所生体試料、較正スライド／テンプレート等を含むこともできる。標的部位７００からの画像は、主対物レンズ組立体７０２を介して立体視覚化カメラ３００において受信され、主対物レンズ組立体７０２は、前部作業距離レンズ４０８（図４に示される）及び後部作業距離レンズ７０４を含む。

Ａ．一例の主対物レンズ組立体
一例の主対物レンズ組立体７０２は、任意のタイプの屈折組立体又は反射組立体を含み得る。図７は、前部作業距離レンズ４０８が静止しており、後部作業距離レンズ７０４がｚ軸に沿って移動可能なアクロマート屈折組立体として対物レンズ組立体７０２を示す。前部作業距離レンズ４０８は、平凸（「ＰＣＸ」）レンズ及び／又はメニスカスレンズを含み得る。後部作業距離レンズ７０４はアクロマートレンズを含み得る。主対物レンズ組立体７０２がアクロマート屈折組立体を含む例では、前部作業距離レンズ４０８は、半球レンズ及び／又はメニスカスレンズを含み得る。加えて、後部作業距離レンズ７０４は、アクロマートダブレットレンズ、レンズのアクロマートダブレット群、及び／又はアクロマートトリプレットレンズを含み得る。

主対物レンズ組立体７０２の倍率は６ｘから２０ｘである。幾つかの場合、主対物レンズ組立体７０２の倍率は、作業距離に基づいて僅かに変化し得る。例えば、主対物レンズ組立体７０２は、２００ｍｍ作業距離では倍率８．９ｘ及び４５０ｍｍ作業距離では倍率８．７５ｘを有し得る。

一例の後部作業距離レンズ７０４は、前部作業距離レンズ４０８に対して移動可能であり、それにより、後部作業距離レンズ７０４と前部作業距離レンズ４０８との間隔を変更するように構成される。レンズ４０８と７０４との間隔は、主対物レンズ組立体７０２の全体前方焦点距離、ひいては焦点面の位置を決める。幾つかの実施形態では、焦点距離は、レンズ４０８と７０４との間の距離に、前部作業距離レンズ４０８の厚さの半分を加えたものである。

前部作業距離レンズ４０８及び後部作業距離レンズ７０４は一緒に、下流の光学画像センサに最適なフォーカスを提供するために、無限共役像を提供するように構成される。換言すれば、標的部位７００の厳密に焦点面に配置された物体は、その像を無限の距離に投影し、それにより、提供される作業距離において無限に結合される。一般に、物体は、焦点面から光路に沿って特定の距離にわたりピントが合って見える。しかしながら、特定の閾値距離を超えると、物体はぼやけるか、又はピンボケして見え始める。

図７は、前部作業距離レンズ４０８の外面と標的部位７００の焦点面へとの間の距離である作業距離７０６を示す。作業距離７０６は視野角に対応し得、作業距離が長いほど、視野は広くなり、又は表示可能面積は大きくなる。それに従って作業距離７０６は、焦点が合った標的部位又はシーンの平面を設定する。図示の例では、作業距離７０６は、後部作業距離レンズ７０４を動かすことにより２００ｍｍから４５０ｍｍまで調整可能である。一例では、視野は、作業距離が４５０ｍｍである場合、上流のズームレンズを用いて２０ｍｍ×１４ｍｍ〜２００ｍｍ×１４０ｍｍで調整可能である。

図７及び図８に示される主対物レンズ組立体７０２は、左光路及び右光路の両方で、標的部位７００の画像を提供する。これは、レンズ４０８及び７０４の幅が左右光路の少なくとも２倍であるべきことを意味する。代替の実施形態では、主対物レンズ組立体７０２は、左右別個の前部作業距離レンズ４０８及び左右別個の後部作業距離レンズ７０４を含み得る。別個の作業距離レンズの各対の幅は、図７及び図８に示されるレンズ４０８及び７０４の幅の１／４〜１／２であり得る。さらに、各後部作業距離レンズ７０４は独立して調整可能であり得る。

幾つかの実施形態では、主対物レンズ組立体７０２は置換可能であり得る。例えば、異なる主対物レンズ組立体を追加して、作業距離範囲、倍率、開口数、及び／又は屈折／反射タイプを変更し得る。これらの実施形態では、立体視覚化カメラ３００は、下流の光学要素のポジショニング、光学画像センサの特性、及び／又は主対物レンズ組立体設置の際に基になる画像処理のパラメータを変更し得る。オペレータは、図３の制御機構３０５及び／又はユーザ入力デバイスの一方を用いて立体視覚化カメラ３００にどの主対物レンズ組立体が設置されるかを指定し得る。

Ｂ．一例の照明源
標的部位７００を照明するために、一例の立体視覚化カメラ３００は１つ又は複数の照明源を含む。図７及び図８は、可視光源７０８ａ、近赤外線（「ＮＩＲ」）光源７０８ｂ、及び近紫外線（「ＮＵＶ」）光源７０８ｃを含む３つの照明源を示す。他の例では、立体視覚化カメラ３００は、追加の光源又はより少数の光源を含み得る（又は光源を含まないことがある）。例えば、ＮＩＲ光源及びＮＵＶ光源は省くことが可能である。一例の光源７０８は、標的シーン７００に投影される光を生成するように構成される。生成された光は標的シーンと相互作用し、標的シーンから反射され、光の幾らかは主対物レンズ組立体７０２に反射される。他の例は、外部光源又は環境からの周囲光を含み得る。

一例の可視光源７０８ａは、可視領域外の波長を有する幾らかの光に加えて、光スペクトルの人間可視部分の光を出力するように構成される。ＮＩＲ光源７０８ｂは、「近赤外線」とも呼ばれる、主に、可視スペクトルの赤色部分を僅かに超えた波長にある光を出力するように構成される。ＮＵＶ光源７０８ｃは、「近紫外線」とも呼ばれる、主に、可視スペクトルの青色部分における波長における光を出力するように構成される。光源７０８により出力される光スペクトルは、後述する各コントローラにより制御される。光源７０８により発せられる光の輝度は、切り替え率及び／又は印加電圧波形により制御し得る。

図７及び図８は、可視光源７０８ａ及びＮＩＲ光源７０８ｂが主対物レンズ組立体７０２を通して直接、標的部位７００に提供されることを示す。図８に示されるように、可視光源７０８ａからの可視光は、可視経路７１０ａに沿って伝搬する。さらに、ＮＩＲ光源７０８ｂからのＮＩＲ光はＮＩＲ経路７１０ｂに沿って伝搬する。光源７０８ａ及び７０８ｂは主対物レンズ組立体７０２の背後（標的部位７００に関して）にあるものとして示されているが、他の例では、光源７０８ａ及び７０８ｂは、主対物レンズ組立体７０２の前に提供し得る。一実施形態では、光源７０８ａ及び７０８ｂは、筐体３０２の外部に標的部位７００に面して提供し得る。更に他の実施形態では、光源７０８は、例えば、Ｋｏｅｈｅｒ照明セットアップ及び／又は暗視野照明セットアップを用いて立体視覚化カメラ３００とは別個に提供し得る。

光源７０８ａ及び７０８ｂとは対照的に、ＮＵＶ光源７０８ｃからのＮＵＶ光は、落射照明セットアップを用いて、偏向要素７１２（例えば、ビームスプリッタ）によって主対物レンズ組立体７０２に反射される。偏向要素７１２は、ＮＵＶ波長範囲を超える光のみを反射するように塗膜又は他の方法で構成し得、それにより、ＮＵＶ光を濾波する。ＮＵＶ光源７０８ｃからのＮＵＶ光は、ＮＵＶ経路７１０ｃに沿って伝搬する。

幾つかの実施形態では、ＮＩＲ光源７０８ｂ及びＮＵＶ光源７０８ｃは、フィルタ（例えば、フィルタ７４０）によってブロックされなかった光を更にフィルタリングする励起フィルタと併用し得る。フィルタは、主対物レンズ組立体７０２の前及び／又は主対物レンズ組立体の後で、光源７０８ｂ及び７０８ｃの前に配置し得る。ＮＵＶ光源７０８ｂ及びＮＩＲ光源７０８ｃからの光は、濾波後、解剖学的物体の蛍光部位９１４（図９に示される）における蛍光を励起する波長を含む。さらに、ＮＵＶ光源７０８ｃ及びＮＩＲ光源７０８ｂからの光は、濾波後、蛍光部位９１４によって発せられるものと同じ範囲にはない波長を含み得る。

光源７０８から主対物レンズ組立体を通る光の投影は、作業距離７０６及び／又は焦点面に基づいて照明される視野を変更するという利点を提供する。光は主対物レンズ組立体７０２を通るため、光が投影される角度は、作業距離７０６に基づいて変わり、視野角に対応する。それに従ってこの構成は、作業距離又は倍率に関係なく、視野が光源７０８により適宜照明されることを保証する。

Ｃ．一例の偏向要素
図７及び図８に示される一例の偏向要素７１２は、主対物レンズ組立体７０２を通してＮＵＶ光源７０８ｃからの特定の波長の光を標的部位７００に透過させるように構成される。偏向要素７１２は、標的部位７００から受け取った光を、ズーム及び記録のために、前部レンズセット７１４を含む下流の光学要素に反射するようにも構成される。幾つかの実施形態では、偏向要素７１２は、特定の波長の光が前部レンズセット７１４に達するように、主対物レンズ組立体７０２を通して、標的部位７００から受け取った光を濾波し得る。

偏向要素７１２は、光を指定された方向に反射する任意のタイプのミラー又はレンズを含み得る。一例では、偏向要素７１２はダイクロイックミラー又はフィルタを含み、ダイクロイックミラー又はフィルタは、異なる波長で異なる反射及び透過特性を有する。図７及び図８の立体視覚化カメラ３００は、右光路及び左光路の両方に光を提供する１つの偏向要素７１２を含む。他の例では、カメラ３００は、右光路及び左光路のそれぞれに別個の偏向要素を含み得る。さらに、別個の偏向要素をＮＵＶ光源７０８ｃに提供し得る。

図９は、本開示の実施形態例による、図７及び図８の偏向要素７１２の図を示す。簡潔にするために、主対物レンズ組立体７０２は示されていない。この例では、偏向要素７１２は、特定の波長の光を透過及び反射する２つの平行面９０２及び９０４を含む。平行面９０２及び９０４は、左右の光路（経路９０６として表される）に対して４５°の角度に設定される。４５°の角度は、この角度が反射光を透過光から９０°の角度で伝搬させ、それにより、分離された光を下流の前部レンズセット７１４において検出させることなく最適な分離を提供するため、選択される。他の実施形態では、偏向要素７１２の角度は、非意図的に不要な波長の光を伝搬せずに、１０度〜８０度であることができる。

一例のＮＵＶ光源７０８ｃは偏向要素７１２の背後（標的部位７００に関して）に配置される。光源７０８ｃからの光は、経路９０８に沿って伝搬し、偏向要素７１２に接触する。ＮＵＶ光源７０８ｃの主な波長範囲前後のＮＵＶ光は、偏向要素７１２を透過し、経路９１０に沿って標的部位７００に達する。ＮＵＶ光源７０８ｃの主な波長範囲を超える（及び下回る）波長を有するＮＵＶ光源７０８ｃからの光は反射され、経路９１２に沿って光シンク又は筐体３０２の非使用領域に達する。

ＮＵＶ光は、標的部位７００に達すると、解剖学的物体の１つ又は複数の蛍光部位９１４によって吸収される。幾つかの場合、解剖学的物体には、ＮＵＶ光を吸収し、異なる主波長の光を発するように構成された造影剤が注入されていることがある。他の場合、解剖学的物体は自然にＮＵＶ光を吸収し、異なる主波長の光を発し得る。蛍光部位９１４により反射又は発せられた光の少なくとも幾らかは、偏向要素７１２に接触するまで経路９１６に沿って伝搬する。光の大半は表面９０４から反射され、経路９０６に沿って前部レンズセット７１４に達する。ＮＵＶ光源７０８ｃの主な波長範囲前後のＮＵＶ光を含む光の一部は、偏向要素７１２を透過し、経路９１８に沿って光シンク又は筐体３０２の非使用領域に送られる。それに従って図９に示される偏向要素７１２は、刺激光の大部分を下流の前部レンズセット７１４への伝達をブロックしながら、スペクトルのある領域を有する標的部位７００における蛍光剤の光学刺激を可能にする。

偏向要素７１２の反射特性及び透過特性が、他の光スペクトル要件に合うように変更可能なことを理解されたい。幾つかの場合、筐体３０２は、所望の光反射特性及び透過特性に基づいて偏向要素７１２及び／又はＮＵＶ光源７０８ｃを交換できるようにするスロットを含み得る。経路９０８と経路９１０との間の偏向要素７１２内部の第１の経路及び経路９１６と経路９１８との間の偏向要素７１２内部の第２の経路がそれぞれ傾斜して、光が空気と偏向要素７１２の内部との間を移動する際の光の屈折を概略的に表すことも理解されたい。示される角度は、実際の反射角度を表す意図はない。

Ｄ．一例のズームレンズ
図７及び図８の一例の立体視覚化カメラ３００は、標的部位７００の焦点距離及び視野角を変更して、ズーム倍率を提供する１枚又は複数枚のズームレンズを含む。図示の例では、ズームレンズは、前部レンズセット７１４、ズームレンズ組立体７１６、及びレンズバレルセット７１８を含む。他の実施形態では、前部レンズセット７１４及び／又はレンズバレルセット７１８が省略可能であることを理解されたい。代替的には、ズームレンズは追加のレンズを含み得、更なる倍率及び／又は画像分解能を提供する。

前部レンズセット７１４は、右光路用の右前部レンズ７２０及び左光路用の左前部レンズ７２２を含む。レンズ７２０及び７２２はそれぞれ、偏向要素７１２からの光をズームレンズ組立体７１６内の各レンズに向ける正収束レンズを含み得る。それに従ってレンズ７２０及び７２２の側方位置は、ズームレンズ組立体７１６に伝搬する、主対物レンズ組立体７０２及び偏向要素７１２からのビームを定義する。

レンズ７２０及び７２２の一方又は両方は、左右の光路の光軸に合うように半径方向において調整可能であり得る。換言すれば、レンズ７２０及び７２２の一方又は両方は、光路に入射する平面において左右及び／又は上下に移動し得る。幾つかの実施形態では、レンズ７２０及び７２２の１枚又は複数枚は回転又はチルトして、画像光学欠陥及び／又は疑似視差を低減するか、又はなくし得る。ズーム中にレンズ７２０及び７２２のいずれか一方又は両方の移動は、各光路のズーム反復点（「ＺＲＰ」）をユーザにとって静止したままであるように見えるようにし得る。半径方向の運動に加えて、前部レンズ７２０及び７２２の一方又は両方は、光路の倍率に合うように軸方向に（各光路に沿って）移動し得る。

一例のズームレンズ組立体７１６は、レンズバレルセット７１８に伝搬する光線のサイズを変更することにより、視野（例えば、線形視野）のサイズを変更するアフォーカルズーム系を形成する。ズームレンズ組立体７１６は、右前部ズームレンズ７２６及び左前部ズームレンズ７２８を有する前部ズームレンズセット７２４を含む。ズームレンズ組立体７１６は、右後部ズームレンズ７３２及び左後部ズームレンズ７３４を有する後部ズームレンズセット７３０も含む。前部ズームレンズ７２６及び７２８は正収束レンズであり得、一方、後部ズームレンズ７３２及び７３４は負発散レンズを含む。

左右光路のそれぞれの画像ビームのサイズは、前部ズームレンズ７２６及び７２８、後部ズームレンズ７３２及び７３４、並びにレンズバレルセット７１８間の距離に基づいて決まる。一般に、光路のサイズは、後部ズームレンズ７３２及び７３４がレンズバレルセット７１８に向かって移動する（各光路に沿って）につれて低減し、それにより、倍率が下がる。加えて、前部ズームレンズ７２６及び７２８も、後部ズームレンズ７３２及び７３４がレンズバレルセット７１８に向かって移動するにつれて、レンズバレルセット７１８に向かって（又は離れて）移動して（放物線弧において等）、焦点面の位置を標的部位７００上に維持し得、それにより、フォーカスを維持する。

前部ズームレンズ７２６及び７２８は、第１のキャリア内に含まれ得（例えば、前部ズームセット７２４）、一方、後部ズームレンズ７３２及び７２４は第２のキャリア内に含まれる（例えば、後部ズームセット７３０）。各キャリア７２４及び７３０は、左右の倍率が同時に変わるように、トラック（又はレール）上を光路に沿って移動し得る。この実施形態では、左右光路間のいずれの僅かな倍率差も、右前部レンズ７２０及び／又は左前部レンズ７２２を移動させることにより補正し得る。追加又は代替として、レンズバレルセット７１８の右レンズバレル７３６及び／又は左レンズバレル７３８は、軸方向に移動し得る。

代替の実施形態では、右前部ズームレンズ７２６は、左前部ズームレンズ７２８とは別個に軸方向に移動し得る。加えて、右後部ズームレンズ７３２は、左後部ズームレンズ７３４とは別個に軸方向に移動し得る。別個の移動により、特に前部レンズセット７１４及びレンズバレルセット７１８が光路に沿って静止しているとき、ズームレンズ組立体７１６により小さな倍率差を補正できるようにする。さらに、幾つかの実施形態では、右前部ズームレンズ７２６及び／又は左前部ズームレンズ７２８は、半径方向及び／又は回転方向に調整可能であり得（及び／又はチルトし得）、それにより、ＺＲＰの見掛けの位置を光路内に維持する。追加又は代替として、右後部ズームレンズ７３２及び／又は左後部ズームレンズ７３４は、波形方向及び／又は回転方向に調整可能であり得（及び／又はチルトし得）、それにより、ＺＲＰの見掛けの位置を光路内に維持する。

一例のレンズバレルセット７１８は、右レンズバレル７３６及び左レンズバレル７３８を含み、これらは、ズームレンズ組立体７１６に加えてアフォーカルズーム系の一部である。レンズ７３６及び７３８は、ズームレンズ組立体７１６からの光線を直線化又はフォーカスするように構成された正収束レンズを含み得る。換言すれば、レンズ７３６及び７３８は、ズームレンズ組立体７１６の無限結合出力をフォーカスする。

幾つかの例では、レンズバレルセット７１８は、筐体３０２内で半径方向及び軸方向において固定される。他の例では、レンズバレルセット７１８は、光路に沿って軸方向に移動可能であり、それにより、倍率の増大を提供し得る。追加又は代替として、レンズ７３６及び７３８のそれぞれは、半径方向及び／又は回転方向において調整可能であり得（及び／又はチルトし得）、それにより、例えば、前部レンズセット７１４、前部ズームレンズセット７２４、及び／又は後部ズームレンズセット７３０の左右レンズ間の光学特性差（倍率又は天然ガラスのずれ）を補正する。

一例の前部レンズセット７１４、ズームレンズ組立体７１６、及びレンズバレルセット７１８は一緒に、好ましくは回折限界分解能を有するズームレンズにおいて、５Ｘから約２０Ｘの光学ズームを達成するように構成される。幾つかの実施形態では、前部レンズセット７１４、ズームレンズ組立体７１６、及びレンズバレルセット７１８は、画質を妥協することができる場合、より高いズーム範囲（例えば、２５Ｘから１００Ｘ）を提供し得る。これらの実施形態では、立体視覚化カメラ３００は、選択された光学範囲が光学範囲外であり、画質の低下を受けることを示すメッセージをオペレータに出力し得る。

幾つかの実施形態では、前部レンズセット７１４、ズームレンズ組立体７１６、レンズバレルセット７１８、及び／又は主対物レンズ組立体７０２のレンズはそれぞれ、互いの光学歪みパラメータのバランスをとる材料を用いて、複数の光学サブ要素からダブレットとして構築し得る。ダブレット構築は、色収差及び光学収差を低減する。例えば、前部作業距離レンズ４０８及び後部作業距離レンズ７０２はそれぞれ、ダブレットとして構築し得る。別の例では、前部レンズ７２０及び７２２、前部ズームレンズ７２６及び７２８、後部ズームレンズ７３２及び７３４、並びにレンズバレル７３６及び７３８はそれぞれ、ダブレットレンズを含み得る。

更なる実施形態では、前部レンズセット７１４、ズームレンズ組立体７１６、レンズバレルセット７１８、及び／又は主対物レンズ組立体７０２のレンズは、異なるように調整し得、及び／又は異なる特性を有し得、それにより、異なる機能を有する２つの平行光路を提供する。例えば、ズームレンズ組立体７１６内の右レンズは、右光路に５Ｘから１０Ｘの光学ズームを提供するように選択し得、一方、ズームレンズ組立体７１６内の左レンズは、左光路に１５Ｘから２０Ｘの光学ズームを提供するように選択される。そのような構成は、平面視ビューであるが、２つの異なる倍率を同時に及び／又は同じ画面上に表示できるようにし得る。

Ｅ．一例のフィルタ
図７及び図８の一例の立体視覚化カメラ３００は、所望の波長の光を選択的に透過する１つ又は複数の光学フィルタ７４０（又はフィルタ組立体）を含む。図８は、１つのフィルタ７４０を左右光路に適用し得ることを示す。他の例では、各光路は別個のフィルタを有し得る。別個のフィルタの包含により、例えば、左右光路からの異なる波長の光を同時に濾波することができ、それにより、例えば、可視光画像と併せて蛍光画像を表示することができる。

図７は、フィルタ７４０が回転軸を中心として回転する車輪を含むことを示す。図示の実施形態では、フィルタ７４０は３つの異なる光学フィルタ対を収容することができる。しかしながら、他の実施形態では、フィルタ７４０は追加又はより少数のフィルタ対を含み得る。一般に、標的部位７００からフィルタ７４０において受け取った光は、広帯域スペクトルの波長を含む。主対物レンズ組立体７０２、前部レンズセット７１４、ズームレンズ組立体７１６、及びレンズバレルセット７１８のレンズは、オペレータにとって関心がある波長及び望ましくない波長を含む比較的広帯域の光を透過するように構成される。加えて、下流の光学画像センサは特定の波長に対して感度を有する。それに従って一例のフィルタ７４０は、光スペクトルの特定の部分を透過及びブロックして、異なる所望の特徴を達成する。

車輪として、フィルタ７４０は、毎秒約４回で位置を変更可能な機械デバイスを備える。他の実施形態では、フィルタ７４０はデジタル微小ミラーを含み得、デジタル微小ミラーは、毎秒６０回等のビデオフレームレートで移行路方向を変更することができる。これらの他の実施形態では、左右光路のそれぞれが微小ミラーを含む。左右の微小ミラーは、同期された切り替え又は同時切り替えを有し得る。

幾つかの実施形態では、フィルタ７４０は光源７０８と同期して、「時間インターリーブ」マルチスペクトル撮像を実現し得る。例えば、フィルタ７４０は、赤外線遮断フィルタ、近赤外線バンドパスフィルタ、及び近紫外線遮断フィルタを含み得る。異なるフィルタタイプが、光源７０８の異なるスペクトル並びに偏向要素７１２のハンスンは特性及び透過特性と併せて機能して、所定の回数、特定の所望の波長の光を透過するように選択される。

一モードでは、フィルタ７４０及び光源７０８は、可視光モードを提供するように構成される。このモードでは、可視光源７０８ａは、可視領域からの光を標的部位７００に押下させ、その幾らかは主対物レンズ組立体７０２に反射される。反射光は、光学画像センサに影響し得る可視スペクトルを超えた幾らかの光を含み得る。可視光は、偏向要素７１２により反射され、前部レンズセット７１４、ズームレンズ組立体７１６、及びレンズバレルセット７１８を透過する。この例では、フィルタ７４０は、赤外線遮断フィルタ又は近紫外線遮断フィルタを光路に適用して、可視スペクトル内の光のみが最終光学セット７４２及び光学画像センサ７４４を透過するように、可視スペクトル外の光を除去するように構成される。

別のモードでは、フィルタ７４０及び光源７０８は、狭波長の蛍光のみを光学センサ７４４に提供するように構成される。このモードでは、ＮＵＶ光源７０８ｃは、スペクトルの藍色領域からの光を標的部位７００に透過させる。偏向要素７１２は、藍色領域の所望の光を透過させ、その間、望ましくない光を反射する。藍色光は、蛍光が発せられるように標的部位７００と相互作用する。幾つかの例では、δ−アミノレブリン酸（「５ａｌａ」）及び／又はプロトポルフィリンＩＸが標的部位７００に適用されて、藍色光を受け取ったとき、蛍光を発するようにさせる。主対物レンズ組立体７０２は、反射された藍色光及び幾らかの可視光に加えて蛍光を受け取る。藍色光は左右光路から出て偏向要素７１２を透過する。したがって、可視光及び蛍光のみが、前部レンズセット７１４、ズームレンズ組立体７１６、及びレンズバレルセット７１８を透過する。この例では、フィルタ７４０は、近紫外線遮断フィルタを光路に適用して、可視光及び任意の残留ＮＵＶ藍色光を含む所望の蛍光スペクトル外の光を除去するように構成される。したがって、狭波長の蛍光のみが光学画像センサ７４４に達し、相対強度に基づいて蛍光をより容易に検出し、区別できるようにする。

更に別のモードでは、フィルタ７４０及び光源７０８は、インドシアニングリーン（「ＩＣＧ」）蛍光を光学センサ７４４に提供するように構成される。このモードでは、ＮＩＶ光源７０８ｂは、可視スペクトルの遠赤領域（近赤外線とも見なされる）の光を標的部位７００に送る。加えて、可視光源７０８ａが、可視光を標的シーン７００に送る。可視光及び遠赤光は、標的部位におけるＩＣＧを有する材料によって吸収され、ＩＣＧは次に、更に遠赤の領域の高刺激蛍光を発する。主対物レンズ組立体７０２は、反射されたＮＩＲ光及び可視光に加えて蛍光を受け取る。光は偏向要素７１２により前部レンズセット７１４、ズームレンズ組立体７１６、及びレンズバレルセット７１８に反射される。この例では、フィルタ７４０は、近赤外線バンドパスフィルタを光路に適用して、可視光及びＮＩＲ光の少なくとも幾らかを含む所望の蛍光スペクトル外の光を除去するように構成される。したがって、更に遠赤の領域の蛍光のみが光学画像センサ７４４に達し、相対強度に基づいて蛍光をより容易に検出し、区別できるようにする。

上記表１は、特定の所望の波長の光を光学センサ７４４に到達させる光源とフィルタとの可能な異なる組合せをまとめたものを示す。画像センサ７４４において受け取られる異なるタイプの光を更に増大させるために、他のタイプのフィルタ及び／又は光源を使用してもよいことを理解されたい。例えば、標的部位７００に適用される特定の生物学的染料又は造影剤に対応する狭波長の光を透過するように構成されたバンドパスフィルタを使用し得る。幾つかの例では、フィルタ７４０は、連結されたフィルタ又は２つ以上のフィルタを含み得、それにより、２つの異なる範囲からの光を濾波できるようにする。例えば、第１のフィルタ７４０は、所望の波長範囲の可視光のみが光学センサ７４４に透過されるように、赤外線遮断フィルタ及び近紫外線遮断フィルタを適用し得る。

他の実施形態では、別個のフィルタ７４０を左右の光路に使用し得る。例えば、右フィルタは赤外線遮断フィルタを含み得、一方、左フィルタは近赤外線透過フィルタを含む。そのような構成では、ＩＧＣ緑色蛍光波長と同時に、可視波長での標的部位７００の表示が可能である。別の例では、右フィルタは赤外線遮断フィルタを含み得、一方、左フィルタは近紫外線遮断フィルタを含む。この構成では、標的部位７００は、５ＡＬＡ蛍光と同時に可視光で表示し得る。これらの他の実施形態では、右及び左画像ストリームはなお、結合して、可視光での標的部位７００のビューと組み合わせた特定の解剖学的構造の蛍光ビューを提供する立体ビューにし得る。

Ｆ．一例の最終光学要素セット
図７及び図８の一例の立体視覚化カメラ３００は、フィルタ７４０から受け取った光を光学画像センサ７４４にフォーカスする最終光学要素セット７４２を含む。最終光学要素セット７４２は、右最終光学要素７４５及び左最終光学要素７４７を含み、これらはそれぞれ正収束レンズを含み得る。光の収束に加えて、光学要素７４５及び７４７は、光が光学画像センサ７４４に達する前、左右光路における微小な収差を補正するように構成し得る。幾つかの例では、レンズ７４５及び７４７は、半径方向及び／又は軸方向に移動可能であり得、それにより、前部レンズセット７１４、ズームレンズ組立体７１６、及びレンズバレルセット７１８により生じる倍率及び／又は合焦収差を補正する。一例では、左最終光学要素７４７は半径方向において移動し得、一方、右の最終光学要素７４５は固定されて、倍率変更中、ＺＲＰ移動を除去する。

Ｇ．一例の画像センサ
図７及び図８の一例の立体視覚化カメラ３００は、最終光学要素セット７４２から受け取った入射光を取得及び／又は記録する画像センサ７４４を含む。画像センサ７４４は、右光路に沿って伝搬する光を取得及び／又は記録する右光学画像センサ７４６及び左光路に沿って伝搬する光を取得及び／又は記録する左光学画像センサ７４８を含む。左光学画像センサ７４６及び右光学画像センサ７４８のそれぞれは、例えば、相補形金属酸化膜半導体（「ＣＭＯＳ」）検知要素、Ｎ型金属酸化膜半導体（「ＮＭＯＳ」）、及び／又は半導体電荷結合素子（「ＣＣＤ」）検知要素を含む。幾つかの実施形態では、左光学センサ７４６及び右光学センサ７４８は同一であり、及び／又は同じ特性を有する。他の実施形態では、左光学センサ７４６及び右光学センサ７４８は、様々な機能を提供する異なる検知要素及び／又は特性を含む。例えば、右光学画像センサ７４６（第１のカラーフィルタアレイを使用する）は、青色蛍光により高感度であるように構成し得、一方、左光学画像センサ７４８（第２のカラーフィルタアレイを使用する）は、可視光により高感度であるように構成される。

図１０は、本開示の実施形態例による、画像センサ７４４の右光学画像センサ７４６及び左光学画像センサ７４８の一例を示す。右光学画像センサ７４６は、感光要素（例えば、ピクセル）の第１の二次元グリッド又はマトリックス１００２を含む。加えて、左光学画像センサ７４８は、感光要素の第２の二次元ピクセルグリッド１００４を含む。各ピクセルは、特定の波長の光のみを透過し、それにより、下の光検出器に接触できるようにするフィルタを含む。異なる色のフィルタがセンサ７４６及び７４８にわたり拡散して、グリッドにわたり全波長の光検出を提供する。光検出器は、可視光並びに可視スペクトルの上及び下の追加の範囲に感度を有し得る。

グリッド１００２及び１００４の感光要素は、視野内にある標的部位７００の表現として、様々な波長の光を記録するように構成される。感光要素に入射した光は、電荷を蓄積させる。電荷を読み出して、検知要素において受け取っている光の量を特定する。加えて、検知要素のフィルタ特性は製造許容誤差内であることが分かっているため、受け取った光の波長の範囲は既知である。標的部位７００の表現は、各光学画像センサ７４６及び７４８のグリッド１００２及び１００４が標的部位７００を空間的にサンプリングするように、感光要素に向けられる。空間サンプリングの分解能は、画質及びパリティに影響するパラメータである。

図１０においてピクセルグリッド１００２及び１００４に示されるピクセルの数は、光学画像センサ７４６及び７４８における実際のピクセルの数を表さない。代わりに、センサは通常、１２８０×７２０ピクセル及び８５００×４５００ピクセル、好ましくは約２０４８×１５６０ピクセルの分解能を有する。しかしながら、グリッド１００２及び１００４の全てのピクセルが画像伝送に選択されるわけではない。代わりに、グリッド１００２及び１００４のサブセット又はピクセルセットが送信に選択される。例えば、図１０では、ピクセルセット１００６は、右画像としての伝送にピクセルグリッド１００２から選択され、ピクセルセット１００８は、左画像としての伝送にピクセルグリッド１００４から選択される。示されるように、ピクセルセット１００６は、各ピクセルグリッド１００２及び１００４に関連して、ピクセルセット１００８と同じ位置に配置される必要はない。ピクセルセット１００６及び１００８の別個の制御により、左画像及び右画像を位置合わせし、及び／又は移動するＺＲＰ等の画像欠陥及び／又は疑似視差を補正することができる。

ピクセルグリッドからのピクセルセットの選択により、画像欠陥／疑似視差を補正し、及び／又は右光学画像及び左光学画像をより正確に位置合わせするピクセルグリッドの一部を選択することができる。換言すれば、ピクセルセットは、ピクセルグリッドに対して移動又は調整されて（リアルタイムで）、疑似視差を低減又はなくすことにより画質を改善し得る。代替的には、立体画像の左ビュー及び右ビューの一方又は両方は、画像処理パイプラインで垂直に動かして（例えば、表示のためのビューのレンダリング中）、同じ効果を達成することができる。センサの回転位置合わせずれも垂直に補正することができる。ピクセルセットは、使用中、ピクセルグリッドにわたっても移動して、視野をパンする外観を提供することもできる。一例では、２０４８×１５６０ピクセルを有するピクセルグリッドから、１９２０×１０８０ピクセルのウィンドウのピクセルセットを選択し得る。ピクセルウィンドウ又はセットの位置は、ソフトウェア／ファームウェアにより制御し得、セットアップ及び／又は使用中、移動し得る。それに従って光学画像センサ７４６及び７４８の分解能は、ピクセルセット又はウィンドウの長さ方向及び幅方向におけるピクセル数に基づいて指定される。

１．一例の画像センサを用いての色検知
上述したように、光学検知要素７４６及び７４８は、特定の色の光を検出する異なるフィルタを有するピクセルを含む。例えば、幾つかのピクセルは、主に赤色光を透過するフィルタで覆われ、幾つかは主に緑色光を透過するフィルタで覆われ、幾つかは主に青色光を透過するフィルタで覆われる。幾つかの実施形態では、ベイヤーパターンがピクセルグリッド１００２及び１００４に適用される。しかしながら、他の実施形態では、特定の波長の光に最適化された異なるカラーパターンを使用することもできることを理解されたい。例えば、各検知領域における緑色フィルタを広帯域フィルタ又は近赤外線フィルタで置換し、それにより、検知スペクトルを広げ得る。

ベイヤーパターンは、ピクセルの２行×２列をグループ化し、それぞれ碁盤の目パターンで１つを赤色フィルタで覆い、１つを青色フィルタで覆い、２つを緑色フィルタで覆うことにより実施される。したがって、赤及び青の分解能はそれぞれ、対象となる検知領域全体の１／４であり、一方、緑色分解能は、対象となる検知領域全体の半分である。

緑色は検知領域の半分に割り当てられて、光学画像センサ７４６及び７４８にルミナンスセンサとして動作させ、人間の視覚系を模倣させ得る。加えて、赤及び青は、人間の視覚系のクロミナンスセンサを模倣するが、緑色検知ほど重要ではない。特定の領域での赤、緑、及び青の量が特定されると、後述する図１６のデベイヤープログラム１５８０ａを併せて考察するように、赤値、緑値、及び青値を平均することにより、可視スペクトル内の他の色が特定される。

幾つかの実施形態では、光学画像センサ７４６及び７４８は、フィルタではなく、積層構成要素を使用して、色を検知し得る。例えば、検知要素は、ピクセルエリア内部に垂直に積み重ねられた赤、緑、及び青の検知構成要素を含み得る。幾つかの別の例では、プリズムは、特に塗膜されたビームスプリッタを使用して、検知要素が各分割ビーム経路に配置された状態で、入射光を成分に１回又は複数回（通常、少なくとも２回で、「３チップ」として知られる３成分色が生成される）分割する。他のセンサタイプは、緑色フィルタの１つを広帯域フィルタ又は近赤外線フィルタで置換する等の異なるパターンを使用し、それにより、デジタル外科用顕微鏡の検知可能性を広げる。

２．一例の画像センサを用いての可視範囲外の光の検知
光学画像センサ７４６及び７４８の一例の検知要素フィルタは、検知要素が検出することができる範囲内の近紫外線光を透過するようにも構成される。これにより、光学画像センサ７４６及び７４８は可視範囲外の少なくとも幾らかの光を検出することができる。そのような感度は、画像を「ウォッシュアウト」し、多くのタイプの画面でコントラストを下げ、色品質に悪影響を及ぼすため、スペクトルの可視部分における画質を低減させる恐れがある。その結果、フィルタ７４０は、赤外線遮断フィルタを使用して、可視波長を光学画像センサ７４６及び７４８に透過させながら、近赤外線波長をブロックし得る。

しかしながら、そのような近赤外線感度が望ましいことがある。例えば、ＩＣＧ等の蛍光剤を標的部位７００に導入することができる。ＩＣＧは、可視又は他の波長又は光で励起又は活性化し、近赤外線範囲の蛍光を発する。上述したように、ＮＩＲ光源７０８ｂはＮＩＲ光を提供し、可視光源７０８ａは可視光を提供して、ＩＣＧを用いる薬剤を励起させる。励起光は更に赤色スペクトルに沿い、これは、近赤外線バンドパス又はハイパスフィルタを使用してフィルタ７４０に透過し得る。次に、赤色スペクトルからの光は、光学画像センサ７４６及び７４８により検出される。フィルタ７４０のスペクトル特性を光源７０８及び蛍光剤の予期される挙動と合わせることにより、標的部位７００における薬剤を含む血液等の薬剤及び生物学的構造を、薬剤を含まない他の構造から区別することができる。

なお、この例では、ＮＩＲ光源７０８ｂは、フィルタ７４０内の近赤外線フィルタと異なる主波長を有する。特に、ＮＩＲ光源７０８ｂは、約７８０ナノメートル（「ｎｍ」）（概ねこの前後に光の出力スペクトルの大半が存在する）の主波長を有する。これとは対照的に、フィルタ７４０の近赤外線フィルタは、約８１０ｎｍから９１０ｎｍの範囲の波長の光を透過する。ＮＩＲ光源７０８ｂからの光及びフィルタ７４０を透過した光は両方とも「近赤外線」波長である。しかしながら、光波長は、一例の立体視覚化カメラ３００が光源７０８を用いて刺激し、刺激光を濾波しながら光学画像センサ７４４を用いて検出することができるように分離される。それに従ってこの構成により、蛍光剤の使用が可能になる。

別の実施形態では、薬剤は青色、紫色、及び近紫外線領域で励起し、赤色領域の光を蛍光することができる。そのような薬剤の一例には、５ＡＬＡの導入によって生じる悪性神経膠腫内のポルフィリン蓄積がある。この例では、青色光を、残りのスペクトルを透過しながら濾波して除外する必要がある。この状況では近紫外線遮断フィルタが使用される。上述した「近赤外線」の場合と同様に、ＮＵＶ光源７０８ｃは、フィルタ７４０内の近紫外線遮断フィルタとは異なる主波長を有する。

Ｈ．一例のレンズキャリア
先のセクションＩＶ（Ｄ）では、前部レンズセット７１４、ズームレンズ組立体７１６、及び／又はレンズバレルセット７１８のレンズの少なくとも幾つかが、レールに沿って１つ又は複数のキャリアで移動し得ることを述べた。例えば、前部ズームレンズセット７２４は、前部ズームレンズ７２６及び７２８を一緒に軸方向に移動させるキャリアを備え得る。

図１１及び図１２は、本開示の実施形態例による一例のキャリアの図を示す。図１１では、キャリア７２４は、支持構造体１１０２内に右前部ズームレンズ７２６及び左前部ズームレンズ７２８を含む。キャリア７２４は、レール１１０６に移動可能に接続するように構成されたレールホルダ１１０４を含む。力「Ｆ」が作動セクション１１０８に印加されて、キャリア７２４をレール１１０６に沿って移動させる。力「Ｆ」は、リードねじ又は他の線形作動デバイスにより印加し得る。図１１に示されるように、力「Ｆ」はキャリア７２４のオフセットに印加される。レール１１０６とキャリア７２４との摩擦が、モーメントＭ_ｙを生成し、モーメントＭ_ｙは支持構造体１１０２を図１１に示されるＹ軸の回りを僅かに移動させる。この僅かな移動は、右前部ズームレンズ７２６及び左前部ズームレンズ７２８を逆方向に僅かにシフトさせ、立体画像のビュー間の視差誤差である疑似視差を生じさせる恐れがある。

図１２は別の例のキャリア７２４を示す。この例では、力「Ｆ」は、レールホルダ１１０４及び支持構造体１１０２に接続された中心構造体１２０２に対称に印加される。力「Ｆ」はモーメントＭ_ｘを生成し、モーメントＭ_ｘはキャリア７２４を図１２に示されるＸ軸の回りを僅かに回転又は移動させる。回転運動は、右前部ズームレンズ７２６及び左前部ズームレンズ７２８を同じ度数の運動だけ同じ方向にシフトさせ、それにより、疑似視差の発生を低減する（又はなくす）。

図１１及び図１２は１つのキャリア内のレンズ７２６及び７２８を示すが、他の実施形態では、レンズ７２６及び７２８はそれぞれキャリア内にあり得る。これらの例では、各レンズは別個のトラック又はレール上にある。別個のリードねじを各レンズに提供して、各光路に沿った独立した軸方向運動を提供し得る。

Ｉ．一例の屈曲部
先のセクションＩＶ（Ｄ）では、前部レンズセット７１４、ズームレンズ組立体７１６、及び／又はレンズバレルセット７１８のレンズの少なくとも幾つかが、半径方向に移動、回転、及び／又はチルトし得ることを述べた。追加又は代替として、光学画像センサ７４６及び７４８は、軸方向に移動し、及び／又は各入射光路に関してチルトし得る。軸方向運動及び／又はチルト運動は、１つ又は複数の屈曲部により提供し得る。幾つかの例では、屈曲部は、第１の屈曲部が第１の方向での運動を提供し、別個の屈曲部が第２の方向での独立した運動を提供するように連結し得る。別の例では、第１の屈曲部は、ピッチ軸に沿ったチルトを提供し、別個の屈曲部はヨー軸に沿ったチルトを提供する。

図１３は、本開示の実施形態例による一例の二重屈曲部１３００の図を示す。図１３に示される屈曲部１３００は、光学画像センサ７４４用のものであり、最終的なフォーカスのために、各光軸に沿って右光学画像センサ７４６及び左光学画像センサ７４８を独立して移動させるように構成される。屈曲部１３００は、一例の立体視覚化カメラ３００の筐体３０２に接続し、作動のための剛性ベースを提供するための支持梁１３０１を含む。屈曲部１３００は、運動方向１３１０を除き全方向で剛性の、各チャネル（例えば、センサ７４６及び７４８）の梁１３０２も含む。梁１３０２は、梁１３０２を運動方向１３１０、この例では平行四辺形並進において移動できるようにする可撓性ヒンジ１３０３に接続される。

アクチュエータデバイス１３０４は、所望の方向に所望の距離だけ梁１３０２を屈曲させる。アクチュエータデバイス１３０４は、各チャネルに押しねじ１３０６及び引きねじ１３０８を含み、これらのねじは逆の力を梁１３０２に印加して、可撓性ヒンジ１３０３を移動させる。梁１３０２は、例えば、押しねじ１３０６を回して梁１３０２を押すことにより内側に移動し得る。図１３に示される屈曲部１３００は、右光学画像センサ７４６及び左光学画像センサ７４８を軸方向にそれぞれの光軸に沿って独立して移動させるように構成される。

梁１３０２が所望の位置に屈曲した後、ロック機構に係合して、更なる移動を阻止し、それにより、剛性カラムを生み出す。ロック機構は、押しねじ１３０６及びそれぞれの同心引きねじ１３０８を含み、これらのねじは、締められると、梁１３０２の剛性カラムを生じさせる大きな逆の力を生成する。

光学画像センサ７４６及び７４８は同じ屈曲部１３００に接続されて示されるが、他の例では、センサは別個の屈曲部に接続し得る。例えば、図８に戻ると、右光学画像センサ７４６は屈曲部７５０に接続され、左光学画像センサ７４８は屈曲部７５２に接続される。別個の屈曲部７５０及び７５２の使用により、光学画像センサ７４６及び７４８は、例えば、左右の光学ビューを位置合わせし、及び／又は疑似視差を低減又はなくすように別個に調整することができる。

加えて、図１３は屈曲部１３００に接続された画像センサ７４６及び７４８を示すが、他の例では、前部レンズセット７１４、ズームレンズ組立体７１６、レンズバレルセット７１８、及び／又は最終光学要素セット７４２のレンズは、代わりに代替又は追加の屈曲部に接続し得る。幾つかの場合、前部レンズセット７１４、ズームレンズ組立体７１６、レンズバレルセット７１８、及び／又は最終光学要素セット７４２の左右の各レンズは、別個の屈曲部１３００に接続されて、独立した半径方向、回転方向、及び／又はチルトの調整を提供し得る。

屈曲部１３００は、１μｍ未満の運動分解能を提供し得る。非常に細かい運動調整の結果として、左右の光路からの画像は、４Ｋディスプレイモニタで数ピクセル、さらには１ピクセルの位置合わせ精度を有し得る。そのような精度は、左右のビューを重ね、立体視ではなく両ビューを両目で観測することにより、各ディスプレイ５１２、５１４で閲覧し得る。

幾つかの実施形態では、屈曲部１３００は、「ＳＹＳＴＥＭ ＦＯＲ ＴＨＥ ＳＵＢ−ＭＩＣＲＯＮ ＰＯＳＩＴＩＯＮＩＮＧ ＯＦ Ａ ＲＥＡＤ／ＷＲＩＴＥ ＴＲＡＮＳＤＵＣＥＲ」という名称の米国特許第５，３５９，４７４号明細書に開示される屈曲部に含むことができ、この特許を全体的に参照により本明細書に援用する。更に他の実施形態では、前部レンズセット７１４、ズームレンズ組立体７１６、レンズバレルセット７１８、及び／又は最終光学要素セット７４２のレンズは、半径方向において静止し得る。代わりに、光路において調整可能な偏向方向を有する偏向要素（例えば、ミラー）を使用して、右光路及び／又は左光路を操縦して、位置合わせ及び／又は疑似視差を調整し得る。追加又は代替として、チルト／シフトレンズを光路に提供し得る。例えば、光軸のチルトは、調整可能なウェッジレンズを用いて制御し得る。更なる実施形態では、前部レンズセット７１４、ズームレンズ組立体７１６、レンズバレルセット７１８、及び／又は最終光学要素セット７４２のレンズは、電子的に変更することができるパラメータを有する動的レンズを含み得る。例えば、レンズは、Ｉｎｖｅｎｉｏｓ Ｆｒａｎｃｅ ＳＡＳ製のＶａｒｉｏｐｔｉｃ液晶レンズを含み得る。

Ｖ．立体視覚化カメラの一例のプロセッサ
一例の立体視覚化カメラ３００は、右光路及び左光路からの画像データを記録し、画像データを立体画像として表示するためにモニタ５１２及び／又は５１４に出力するように構成される。図１４は、本開示の実施形態例による、画像データを取得し処理する一例の立体視覚化カメラ３００のモジュールの図を示す。モジュールが、特定のハードウェア、コントローラ、プロセッサ、ドライバ、及び／又はインターフェースにより実行される動作、メソッド、アルゴリズム、ルーチン、及び／又はステップを示すことを理解されたい。他の実施形態では、モジュールは結合、更に分割、及び／又は削除し得る。さらに、モジュール（又はモジュールの部分）の１つ又は複数は、リモートサーバ、コンピュータ、及び／又は分散計算環境等の立体視覚化カメラ３００の外部に提供し得る。

図１４の図示の実施形態では、図７から図１３における構成要素４０８、７０２〜７５０、及び１３００はまとめて光学要素１４０２と呼ばれる。光学要素１４０２（特に光学画像センサ７４６及び７４８）は、画像捕捉モジュール１４０４及びモータ・照明モジュール１４０６に通信可能に結合される。画像捕捉モジュール１４０４は情報プロセッサモジュール１４０８に通信可能に結合され、情報プロセッサモジュール１４０８は、外部配置のユーザ入力デバイス１４１０及び１つ又は複数のディスプレイモニタ５１２及び／又は５１４に通信可能に結合し得る。

一例の画像捕捉モジュール１４０４は、光学画像センサ７４６及び７４８から画像データを受信するように構成される。加えて、画像捕捉モジュール１４０４は、各ピクセルグリッド１００２及び１００４内にピクセルセット１００６及び１００８を定義し得る。画像捕捉モジュール１４０４は、フレームレート及び露出時間等の画像記憶特性を指定することもできる。

一例のモータ・照明モジュール１４０６は、１つ又は複数のモータ（又はアクチュエータ）を制御して、光学要素１４０２の１つ又は複数の半径方向位置、軸方向位置、及び／又はチルト位置を変更するように構成される。例えば、モータ又はアクチュエータは、図１１及び図１２に示されるように、駆動ねじを回して、トラック１１０６に沿ってキャリア７２４を移動させ得る。モータ又はアクチュエータはまた、図１３の屈曲部１３００の押しねじ１３０６及び／又は引きねじ１３０８を回して、レンズ及び／又は光学画像センサの半径方向位置、軸方向位置、又はチルト位置を調整することもできる。モータ・照明モジュール１４０６は、光源７０８を制御する駆動装置を含むこともできる。

一例の情報プロセッサモジュール１４０８は、表示のために画像データを処理するように構成される。例えば、情報プロセッサモジュール１４０８は、色補正を画像データに提供し、画像データからの欠陥をフィルタリングし、及び／又は立体表示のために画像データをレンダリングし得る。情報プロセッサモジュール１４０８はまた、指定された調整を光学要素に対して実行する命令を画像捕捉モジュール１４０４及び／又はモータ・照明モジュール１４０６に提供することにより、１つ又は複数の較正ルーチンを実行して、立体視覚化カメラ３００を較正することもできる。情報プロセッサモジュール１４０８は更に、画像位置合わせを改善し、及び／又は疑似視差を低減する命令を決定し、リアルタイムで画像捕捉モジュール１４０４及び／又はモータ・照明モジュール１４０６に提供し得る。

一例のユーザ入力デバイス１４１０は、立体視覚化カメラ３００の動作を変更する命令を提供するコンピュータを含み得る。ユーザ入力デバイス１４１０は、立体視覚化カメラ３００のパラメータ及び／又は特徴を選択する制御機構を含むこともできる。一実施形態では、ユーザ入力デバイス１４１０は図３の制御アーム３０４を含む。ユーザ入力デバイス１４１０は、情報プロセッサモジュール１４０８にハードワイヤードし得る。追加又は代替として、ユーザ入力デバイス１４１０は、情報プロセッサモジュール１４０８に無線又は光学的に通信可能に結合される。

一例のディスプレイモニタ５１２及び５１４は、例えば、三次元閲覧経験を提供するように構成されたテレビジョン及び／又はコンピュータモニタを含む。例えば、ディスプレイモニタはＬＧ（登録商標）５５ＬＷ５６００テレビジョンを含み得る。代替的には、ディスプレイモニタ５１２及び５１４は、ラップトップ画面、タブレット画面、スマートフォン画面、スマートメガネ、プロジェクタ、ホログラフィックディスプレイ等を含み得る。

以下のセクションでは、画像捕捉モジュール１４０４、モータ・照明モジュール１４０６、及び情報プロセッサモジュール１４０８についてより詳細に説明する。

Ａ．一例の画像捕捉モジュール
図１５は、本開示の実施形態例による画像捕捉モジュール１４０４の図を示す。一例の画像捕捉モジュール１４０４は画像センサコントローラ１５０２を含み、画像センサコントローラ１５０２は、プロセッサ１５０４、メモリ１５０６、及び通信インターフェース１５０８を含む。プロセッサ１５０４、メモリ１５０６、及び通信インターフェース１５０８は一緒に、画像センサコントローラバス１５１２を介して通信可能に結合し得る。

プロセッサ１５０４には、メモリ１５０６内に永続的に記憶された１つ又は複数のプログラム１５１０をプログラム可能である。プログラム１５１０は、実行されると、プロセッサ１５０４に、１つ又は複数のステップ、ルーチン、アルゴリズム等を実行させる機械可読命令を含む。幾つかの実施形態では、プログラム１５１０は、情報プロセッサモジュール１４０８から及び／又はユーザ入力デバイス１４１０からメモリ１５０６に送信し得る。他の例では、プログラム１５１０は、情報プロセッサモジュール１４０８から及び／又はユーザ入力デバイス１４１０からプロセッサ１５０４に直接送信し得る。

一例の画像センサコントローラ１５０２は、光学要素１４０２の右光学画像センサ７４６及び左光学画像センサ７４８に通信可能に結合される。画像センサコントローラ１５０２は、タイミング制御データ及び／又はプログラミングデータに加えて、電力を光学画像センサ７４６及び７４８に提供するように構成される。加えて、画像センサコントローラ１５０２は、光学画像センサ７４６及び７４８から画像及び／又は診断データを受信するように構成される。

各光学画像センサ７４６及び７４８は、特定のパラメータ及び／又は特性を制御するプログラマブルレジスタを含む。レジスタの１つ又は複数は、図１０の各ピクセルグリッド１００２及び１００４内のピクセルセット１００６及び１００８の位置を指定し得る。レジスタは、ピクセルグリッド１００２及び１００４の原点又は縁部点に対する開始位置の値を記憶し得る。レジスタはまた、ピクセルセット１００６及び１００８の幅及び高さを指定して、関心のある矩形領域を画定することもできる。画像センサコントローラ１５０２は、指定されたピクセルセット１００６及び１００８内にあるピクセルのピクセルデータを読み出すように構成される。幾つかの実施形態では、光学画像センサ７４６及び７４８のレジスタは、円、楕円、三角形等の他の形状のピクセルセットの指定を促進し得る。追加又は代替として、光学画像センサ７４６及び７４８のレジスタは、ピクセルグリッド１００２及び１００４のそれぞれに複数のピクセルセットを同時に指定できるようにし得る。

ピクセルグリッド１００２及び１００４のピクセルの感光部分は、埋め込み回路により制御され、埋め込み回路は異なる感光モードを指定する。モードはリセットモード、積分モード、及び読み出しモードを含む。リセットモード中、ピクセルの電荷蓄積構成要素は、既知の電圧レベルにリセットされる。積分モード中、ピクセルは「オン」状態に切り替えられる。検知エリア又はピクセルの要素に達した光は、電荷を電荷蓄積構成要素（例えば、キャパシタ）内に蓄積させる。蓄えられた電荷の量は、積分モード中、検知要素に入射した光の量に対応する。読み出しモード中、電荷量はデジタル値に変換され、埋め込み回路を介して光学画像センサ７４６及び７４８から読み出され、画像センサコントローラ１５０２に送信される。あらゆるピクセルを読み出すために、所与の領域内の各ピクセルの電荷蓄積構成要素は、切り替え内部回路により読み出し回路に順次接続され、読み出し回路は、アナログ値からデジタル値への電荷の変換を実行する。幾つかの実施形態では、ピクセルアナログデータは１２ビットデジタルデータに変換される。しかしながら、分解能がノイズ許容度、整定時間、フレームレート、及びデータ送信速度に基づいてより高い又はより低いことがあることを理解されたい。各ピクセルのデジタルピクセルデータはレジスタに記憶し得る。

図１５の画像センサコントローラ１５０２の一例のプロセッサ１５０４は、ピクセルセット１００６及び１００８内の各ピクセルからピクセルデータ（例えば、ピクセルの要素への入射光量に対応する、ピクセルに貯蔵された電荷を示すデジタルデータ）を受信するように構成される。プロセッサ１５０４は、右光学画像センサ７４６から受信したピクセルデータから右画像を形成する。加えて、プロセッサ１５０４は、左光学画像センサ７４８から受信したピクセルデータから左画像を形成する。代替的には、プロセッサ１５０４は、左画像及び右画像のそれぞれの一部のみ（例えば、一行又は数行）を形成してから、データを下流に送信する。幾つかの実施形態では、プロセッサ１５０４はレジスタ位置を使用して、画像内の各ピクセルの位置を特定する。

右画像及び左画像が作成された後、プロセッサ１５０４は右画像及び左画像を同期する。次に、プロセッサ１５０４は、右画像及び左画像の両方を通信インターフェース１５０８に送信し、通信インターフェース１５０８は画像を処理して、通信チャネル１５１４を介して情報プロセッサモジュール１４０８に送信するためのフォーマットにする。幾つかの実施形態では、通信チャネル１５１４は、ＵＳＢ２．０又は３．０規格に準拠し、銅線又は光ファイバケーブルを含み得る。通信チャネル１５１４は、最高で毎秒左右画像（立体分解能１９２０×１０８０及びデータ変換分解能１２ビットを有する）約６０対以上を１秒当たり送信することが可能であり得る。銅線ＵＳＢの使用により、電力を情報プロセッサモジュール１４０８から画像捕捉モジュール１４０４に提供することができる。

以下のセクションでは、特定のプログラム１５１０を実行して、光学画像センサ７４６及び７４８から画像データを取得及び／又は処理する画像センサコントローラ１５０２のプロセッサ１５０４により提供される特徴について更に説明する。

１．一例の露出
一例のプロセッサ１５０４は、光学画像センサ７４６及び７４８が上述した積分モードである時間量を制御又はプログラムし得る。積分モードは、露出時間と呼ばれる時間期間にわたり行われる。プロセッサ１５０４は、光学画像センサ７４６及び７４８の露出レジスタに値を書き込むことにより露出時間を設定し得る。追加又は代替として、プロセッサ１５０４は、露出時間の開始及び終了を通知する命令を光学画像センサ７４６及び７４８に送信し得る。露出時間は、数ミリ秒（「ｍｓ」）〜数秒でプログラムし得る。好ましくは、露出時間は概ね、フレームレートの逆数である。

幾つかの実施形態では、プロセッサ１５０４は、ローリングシャッタ法を光学画像センサ７４６及び７４８に適用して、ピクセルデータを読み取り得る。この方法下では、ピクセルセット１００６及び１００８のピクセルの所与の行の露出時間は、その行内のピクセルが読み出され、次にリセットされた直後に開始される。短時間後、次の行（通常、設定されたばかりの行に物理的に最も近い）が読み出され、それに従ってリセットされ、その露出時間が再開される。各ピクセル行の順次読み出しは、ピクセルセット１００６及び１００８の最後又は最下行が読み出されリセットされるまで続けられる。次に、プロセッサ１５０４はピクセルセット１００６及び１００８の最上行に戻り、次の画像のピクセルデータを読み出す。

別の実施形態では、プロセッサ１５０４はグローバルシャッタ法を適用する。この方法下では、プロセッサ１５０４は、ローリングシャッタ法と同様にして読み出し及びリセットを実施する。しかしながら、この方法では、積分は、ピクセルセット１００６及び１００８内の全てのピクセルで同時に行われる。グローバルシャッタ法は、全てのピクセルが同時に露出されるため、ローリングシャッタ法と比較して、画像内の欠陥が減るという利点を有する。比較として、ローリングシャッタ法では、ピクセルセットのラインの露出間に僅かな時間遅延がある。小さな欠陥は、ライン露出間、特に読み出し間で標的部位７００に小さな変化が生じ得る上のラインと下のラインとの間の時間中に生じる恐れがある。

２．一例のダイナミックレンジ
一例のプロセッサ１５０４は、１つ又は複数のプログラム１５１０を実行して、光学画像センサ７４６及び７４８のダイナミックレンジ外の光を検出し得る。一般に、極めて明るい光はピクセルの電荷貯蔵領域を完全に満たし、それにより、厳密な輝度レベルに関する画像情報を失うことになる。同様に、極めて低い光又は光がないことは、ピクセル内の有意味な電荷を影響することができず、これもまた画像情報の損失に繋がる。それに従ってこのピクセルデータからの作成された画像は、標的部位７００における光強度を正確に反映しない。

ダイナミックレンジ外の光を検出するために、プロセッサ１５０４は、例えば、マルチ露出プログラム、マルチスロープピクセル積分プログラム、及びマルチセンサ画像融合プログラムを含む幾つかの高ダイナミックレンジ（「ＨＤＲ」）プログラム１５１０の１つを実行し得る。一例では、マルチ露出プログラムは、光学画像センサ７４６及び７４８に統合又は埋め込まれたＨＤＲ特徴を利用し得る。この方法下では、ピクセルセット１００６及び１００８は、通常の露出時間にわたり積分モードになる。ピクセルセット１００６及び１００８のラインは読み出され、光学画像センサ７４６及び７４８のメモリ及び／又は画像センサコントローラ１５０２のメモリ１５０６に記憶される。読み出しがプロセッサ１５０４により実行された後、ピクセルセット１００６及び１００８内の各ラインは、通常の露出時間未満の第２の露出時間にわたり再びオンになる。プロセッサ１５０４は、第２の露出時間後、ピクセルの各ラインを読み出し、このピクセルデータを同じラインの通常露出時間からのピクセルデータと結合する。プロセッサ１５０４は、トーンマッピングを適用して、通常長さの露出時間からのピクセルデータか、及び長さの短い露出時間からのピクセルデータを選び（又は結合し）、生成されたピクセルデータを、下流の処理及び表示と互換性がある範囲にマッピングする。マルチ露出プログラムを使用する場合、プロセッサ１５０４は、光学画像センサ７４６及び７４８のダイナミックレンジを拡大し、表示のためにピクセルデータの結果としての範囲を圧縮することが可能である。

プロセッサ１５１０は、比較的暗い光の場合でも同様のプログラムを動作し得る。しかしながら、第２の露出時間が通常時間未満である代わりに、第２の露出時間は通常時間よりも長く、それにより、電荷を蓄積するより多くの時間をピクセルに提供する。プロセッサ１５１０はトーンマッピングを使用して、ピクセルデータ読み出しを調整し、より長い露出時間を補償し得る。

３．一例のフレームレート
一例のプロセッサ１５１０は、光学画像センサ７４６及び７４８のフレームレートを制御又は指定し得る。幾つかの実施形態では、光学画像センサ７４６及び７４８は、ピクセルセット１００６及び１００８内の各ピクセルが上述した撮像モードを通して循環する毎秒当たりの回数を指定するオンボードタイミング回路及びプログラマブル制御レジスタを含む。フレーム又は画像は、ピクセルセットが３つのモードを通して進む都度、形成される。フレームレートは、ピクセルセット１００６及び１００８内のピクセルが積分され、読み出され、リセットされる毎秒当たりの回数である。

プロセッサ１５１０は、読み出しが適切なときに行われるように、光学画像センサ７４６及び７４８と同期し得る。他の例では、プロセッサ１５１０は光学画像センサ７４６及び７４８と非同期である。これらの他の例では、光学画像センサ７４６及び７４８は、一時的なメモリ又はキューへのローカル読み出し後、ピクセルデータを記憶し得る。次に、ピクセルデータは、右画像及び左画像の同期のために、プロセッサ１５１０により周期的に読み出し得る。

時系列でのフレーム又は画像の処理（例えば、画像ストリームの作成）は、ビデオとして伝達される動きの錯覚を提供する。一例のプロセッサ１５１０は、観測者に滑らかなビデオの見た目を提供するフレームレートをプログラムするように構成される。低すぎるフレームレートは、任意の動きを途切れ途切れ又は不均等にする。最大閾値フレームレートを超える動画品質は、観測者にとって識別可能ではない。一例のプロセッサ１５１０は、典型的な外科視覚化で毎秒約２０〜７０フレーム、好ましくは毎秒５０〜６０フレームを生成するように構成される。

４．一例のセンサ同期
図１５の一例のプロセッサ１５０４は、光学画像センサ７４６及び７４８の同期を制御するように構成される。プロセッサ１５０４は、例えば、光学画像センサ７４６及び７４８に電力を同時に提供し得る。次に、プロセッサ１５０４は、クロック信号を光学画像センサ７４６及び７４８の両方に提供し得る。クロック信号は、光学画像センサ７４６及び７４８が自由実行モードで独立して、しかし同期され及び／又は同時に動作できるようにする。したがって、光学画像センサ７４６及び７４８は、ピクセルデータを略同時に記録する。一例のプロセッサ１５０４は、ピクセルデータを光学画像センサ７４６及び７４８から受信し、画像及び／又はフレームの少なくとも一部を構築し、任意のわずかなタイミングずれを説明するように画像及び／又はフレーム（又はその一部）を同期させる。通常、光学画像センサ７４６及び７４８間のラグは、２００マイクロ秒未満である。他の実施形態では、プロセッサ１５０４は同期ピンを使用して、例えば、各リセットモード後、光学画像センサ７４６及び７４８を同時にアクティブ化し得る。

Ｂ．一例のモータ・照明モジュール
図１５の一例の立体視覚化カメラ３００は、光学要素１４０２のレンズを移動させ、及び／又は光源７０８から出力される照明を制御する１つ又は複数のモータ又はアクチュエータを制御するモータ・照明モジュール１４０６を含む。一例のモータ・照明モジュール１４０６は、プロセッサ１５２２、メモリ１５２４、及び通信バス１５２８を介して通信可能に一緒に結合された通信インターフェース１５２６を含むモータ・照明コントローラ１５２０を含む。メモリ１５２４は、プロセッサ１５２２で実行可能であり、光学要素１４０２のレンズ及び／又は光源７０８の制御、調整、及び／又は較正を実行する１つ又は複数のプログラム１５３０を記憶する。幾つかの実施形態では、プログラム１５３０は、情報プロセッサモジュール１４０８及び／又はユーザ入力デバイス１４１０からメモリ１５２４に送信し得る。

通信インターフェース１５２６は、画像捕捉モジュール１４０４の通信インターフェース１５０８及び情報プロセッサモジュール１４０８の通信インターフェース１５３２に通信可能に結合される。通信インターフェース１５２６は、コマンドメッセージ、タイミング信号、ステータスメッセージ等を画像捕捉モジュール１４０４及び情報プロセッサモジュール１４０８から受信するように構成される。例えば、画像捕捉モジュール１４０４のプロセッサ１５０４は、タイミング信号をプロセッサ１５２２に送信して、照明制御と光学画像センサ７４６及び７４８の露出時間とのタイミングを同期させ得る。別の例では、情報処理モジュール１４０８は、特定の光源７０８にアクティブ化し及び／又は光学要素１４０２の特定のレンズを移動させるように命令するコマンドメッセージを送信し得る。コマンドは、例えば、ユーザ入力デバイス１４１０を介してオペレータから受信した入力に応答し得る。追加又は代替として、コマンドは、較正ルーチン及び／又はリアルタイム調整に応答して、疑似視差等の画像位置合わせずれ及び／又は欠陥を低減又はなくし得る。

一例のモータ・照明モジュール１４０６は、光学要素１４０２のレンズの軸方向及び／又は半径方向位置及び／又は光源７０８から出力される光を調整するモータを制御する電力を提供する駆動装置を含む。特に、モータ・照明モジュール１４０６は、ＮＵＶ信号をＮＵＶ光源７０８ｃに送信するＮＵＶ光駆動装置１５３４、ＮＩＲ信号をＮＩＲ光源７０８ｂに送信するＮＩＲ光駆動装置１５３６、及び可視光信号を可視光源７０８ａに送信する可視光駆動装置１５３８を含む。

加えて、モータ・照明モジュール１４０６は、図７及び図８のフィルタ７４０を制御するフィルタモータ信号をフィルタモータ１５４２に送信するフィルタモータ駆動装置１５４０を含む。モータ・照明モジュール１４０６は、後部ズームレンズモータ信号を後部ズームレンズモータ１５４６に送信する後部ズームレンズモータ駆動装置１５４４、前部ズームレンズモータ信号を前部ズームレンズモータ１５５０に送信する前部ズームレンズモータ駆動装置１５４８、及び作業距離レンズモータ信号を作業距離レンズモータ１５５４に送信する後部作業距離レンズモータ駆動装置１５５２を含む。モータ・照明モジュール１４０６はまた、偏向要素７１２を移動及び／又はチルトさせるモータ及び／又はアクチュエータを含むこともできる。

後部ズームレンズモータ１５４６は、キャリア７３０をトラック又はレールに沿って軸方向に移動させる駆動ねじを回転するように構成される。前部ズームレンズモータ１５５０は、キャリア７２４を図１１及び図１２に示されるトラック１１０６に沿って軸方向に移動させる駆動ねじを回転するように構成される。作業距離レンズモータ１５５４は、後部作業距離レンズ７０２をトラック又はレールに沿って軸方向に移動させる駆動ねじを回転するように構成される。

駆動装置１５３６、１５３８、及び１５４０は、任意のタイプの照明駆動装置、変圧器、及び／又はバラストを含み得る。駆動装置１５３６、１５３８、及び１５４０は、光源７０８により出力される光の強度を制御するパルス幅変調（「ＰＷＭ」）信号を出力するように構成される。幾つかの実施形態では、プロセッサ１５２２は、フィルタモータ駆動装置１５４０を使用して特定のフィルタを適用するタイミングに対応するように、駆動装置１５３６、１５３８、及び１５４０のタイミングを制御し得る。

一例の駆動装置１５４０、１５４４、１５４８、及び１５５２は、例えば、ステッパモータ駆動装置及び／又はＤＣモータ駆動装置を含み得る。同様に、モータ１５４２、１５４６、１５５０、及び／又は１５５４は、ステッパモータ、ＤＣモータ、又は他の電気、磁気、熱、油圧、若しくは空気圧アクチュエータを含み得る。モータ１５４２、１５４６、１５５０、及び／又は１５５４は、例えば、フィードバック報告及び制御のために、ロータリエンコーダ、スロット型光学スイッチ（例えば、フォトインタラプタ）、及び／又は線形エンコーダを含み、シャフト及び／又は車軸の角度位置を報告し得る。代替の実施形態は、適した駆動装置を有するボイスコイルモータ、圧電モータ、リニアモータ、及びそれらの均等物を含み得る。

駆動装置１５３４、１５３６、１５３８、１５４０、１５４４、１５４８、及び１５５２を制御するために、プロセッサ１５２２は、コマンドメッセージをデジタル信号及び／又はアナログ信号に変換するプログラム１５３０を使用するように構成される。プロセッサ１５２２は、デジタル信号及び／又はアナログ信号を適切な駆動装置に送信し、駆動装置は、受信信号に対応するＰＷＭ信号等のアナログ電力信号を出力する。アナログ電力信号は、電力を適切なモータ又はアクチュエータに提供し、所望量だけモータ又はアクチュエータを回転させる（又は他の方法で移動させる）。

プロセッサ１５２２は、フィードバックを駆動装置１５３４、１５３６、１５３８、１５４０、１５４４、１５４８、及び１５５２、モータ１５４２、１５４６、１５５０、及び／又は１５５４、及び／又は光源７０８から受信し得る。フィードバックは、例えば、照明レベル又は照明出力に対応する。モータに関しては、フィードバックは、モータ（又は他のアクチュエータ）の位置及び／又は移動量に対応する。プロセッサ１５２２は、プログラム１５３０を使用して、受信信号をデジタルフィードバックに翻訳して、例えば、対応するモータ又はアクチュエータシャフトの角度位置に基づいてレンズの半径方向位置、チルト位置、及び／又は軸方向位置を特定する。次に、プロセッサ１５２２は、ユーザへの表示のために及び／又は較正のために光学要素１４０２のレンズの位置を追跡するために、位置情報と共にメッセージを情報プロセッサモジュール１４０８に送信し得る。

幾つかの実施形態では、モータ・照明モジュール１４０６は、光学要素１４０２内の個々のレンズの軸方向位置、チルト位置、及び／又は半径方向位置を変更する追加の駆動装置を含み得る。例えば、モータ・照明モジュール１４０６は、チルト及び／又は半径方向／軸方向調整のための光学画像センサ７４６及び７４８の屈曲部７５０及び７５２を作動させるモータを制御する駆動装置を含み得る。さらに、モータ・照明モジュール１４０６は、前部レンズ７２０及び７２２、前部ズームレンズ７２６及び７２８、後部ズームレンズ７３２及び７３４、レンズバレル７３６及び７３８、及び／又は最終光学要素７４５及び７４７を個々に、軸方向にｘ軸又はｙ軸に沿って及び／又は軸方向にチルト及び／又は調整するモータ（又はアクチュエータ）を制御する駆動装置を含み得る。レンズ及び／又はセンサの独立した調整により、例えば、モータ・照明コントローラ１５２０は画像欠陥を除去し、及び／又は左右画像を位置合わせすることができる。

以下のセクションでは、プロセッサ１５５２がいかに、１つ又は複数のプログラム１５３０を実行して、作業距離、ズーム、フィルタ位置、レンズ位置、及び／又は光出力を偏向するかを説明する。

１．一例の作業距離
図１５のモータ・照明モジュール１４０６の一例のプロセッサ１５２２は、立体視覚化カメラ３００の作業距離を調整するように構成される。作業距離は、後部作業距離レンズ７０４と前部作業距離レンズ４０８との間の距離を調整することにより設定される。プロセッサ１５２２は、後部作業距離レンズ７０４を前部作業距離レンズ４０８に対して移動させることにより距離を調整する。特に、プロセッサ１５２２は信号を後部作業距離レンズモータ駆動装置１５５２に送信し、この信号は、後部作業距離レンズ７０４を移動させる量に比例する所定の時間にわたり、作業距離レンズモータ１５５４をアクティブ化する。作業距離レンズモータ１５５４は、後部作業距離レンズ７０４を保持する摺動トラックに取り付けられたねじを通してリードねじを駆動する。作業距離レンズモータ１５５４は、レンズ７０４を所望の距離だけ移動させ、それにより、作業距離を調整する。作業距離レンズモータ１５５４は、フィードバック信号をプロセッサ１５２２に提供し得、プロセッサ１５２２は、後部作業距離レンズ７０４が所望量、移動したか否かを判断する。移動が所望未満又は所望を超える場合、プロセッサ１５２２は、後部作業距離レンズ７０４の位置を更に改良する命令を送信し得る。幾つかの実施形態では、情報プロセッサモジュール１４０８は、後部作業距離レンズ７０４のフィードバック制御を決定し得る。

後部作業距離レンズ７０４の位置を特定するために、プロセッサ１５２２は１つ又は複数の較正プログラム１５３０を動作し得る。例えば、アクティブ化されると、プロセッサ１５２２は、運動範囲の一端部における限度スイッチをトリガーするまで、作業距離レンズモータ１５５４にリードねじを駆動して、後部作業距離レンズ７０４をトラック又はレールに沿って移動させるように命令し得る。プロセッサ１５２２は、モータ１５５４のエンコーダのゼロ点としてこの停止位置を示し得る。後部作業距離レンズ７０４の現在位置及び対応するエンコーダ値を知ることで、プロセッサ１５２２は、後部作業距離レンズ７０４を所望位置に移動させるためのシャフト回転数を特定することが可能になる。シャフト回転数はアナログ信号で作業距離レンズモータ１５５４に送信され（駆動装置１５５２を介して）、それに従ってレンズ７０４を指定された位置に移動させる。

２．一例のズーム
図１５の一例のプロセッサ１５２２は、１つ又は複数のプログラム１５３０を実行して、立体視覚化カメラ３００のズームレベルを変更するように構成される。上述したように、ズーム（例えば、倍率変更）は、互いに対して並びに前部レンズセット７１４及びレンズバレルセット７１８に対して、前部ズームセット７２４及び後部ズームセット７３０の位置を変更することにより達成される。後部作業距離レンズ７０４について上述した較正手順と同様に、プロセッサ１５２２は、トラック又はレールに沿ったセット７２４及び７３０の位置を較正し得る。特に、プロセッサ１５２２は、後部ズームレンズモータ１５４６及び前部ズームレンズモータ１５５０にセット７２４及び７３０（例えば、キャリア）をレール（又は複数のレール）に沿って限度スイッチにおける停止位置まで移動させる命令を送信する。プロセッサ１５２２は、エンコーダフィードバックをモータ１５４６及び１５５０から受信して、セット７２４及び７３０の停止位置に関連するエンコーダ値を特定する。次にプロセッサ１５２２は、エンコーダ値をゼロにし、又は停止位置における既知のエンコーダ値を使用して、レールに沿ったセット７２４及び７３０の所望の位置を達成するために、モータ１５４６及び１５５０をどれくらいアクティブ化させるかを決定し得る。

停止位置の較正に加えて、プロセッサ１５２２は、所望のズームレベルを達成するためのセット７２４及び７３０の位置を定義するプログラム１５３０を実行し得る。例えば、較正手順中、距離設定と１組の所望のズーム値との既知のパターンをプログラム１５３０（又はルックアップテーブル）として記憶し得る。較正手順は、テンプレートを標的部位７００に配置し、プロセッサ５２２に、特定の示されたマーカ又は文字が左右の画像又はフレームで特定のサイズになるまでセット７２４及び７３０を移動するように命令することを含み得る。例えば、較正ルーチンは、標的部位７００におけるテンプレート上の文字「Ｅ」が、１０ピクセル分の高さを有するものとして左右の画像に表示されるときに対応するレール上のセット７２４及び７３０の位置を特定し得る。

幾つかの実施形態では、情報プロセッサモジュール１４０８は、視覚的分析を実行し、ズームイン又はズームアウトに望ましいセット７２４及び７３０の移動に関する命令をプロセッサ１５２２に送信し得る。加えて、情報プロセッサ１４０８は、所望のズームレベルにある標的部位７００が合焦されるように焦点面を移動させる命令を送信し得る。命令は、例えば、後部作業距離レンズ７０４を移動させる命令及び／又はセット７２４及び７３０を一緒に及び／又は個々に移動させる命令を含み得る。幾つかの代替の実施形態では、プロセッサ１５２２は、ユーザ入力デバイス１４１０又は別のコンピュータから、特定のズームレベルにおける前部ズームセット７２４及び後部ズームセット７３０のレール位置の較正パラメータを受信し得る。

一例のプロセッサ１５２２及び／又は情報プロセッサモジュール１４０８は、倍率が変更された場合、画像が合焦したままであるような命令を送信し得る。プロセッサ１５２２は、例えば、プログラム１５３０及び／又はルックアップテーブルを使用して、標的部位７００へのフォーカスを維持するために、特定のレンズがいかに、光軸に沿って移動すべきかを決定し得る。プログラム１５３０及び／又はルックアップテーブルは、倍率レベル及び／又はレール上の設定ポイント及び焦点面を移動しないようにするために必要な対応するレンズ調整を指定し得る。

以下の表２は、倍率を変更しながら、プロセッサ１５２２がフォーカスを維持するために使用し得る一例のプログラム１５３０又はルックアップテーブルを示す。前部ズームレンズセット７２４及び後部ズームレンズセット７３０の位置は、各セット７２４及び７３０の停止位置までのレールの長さに基づいて正規化される。倍率を下げるには、後部ズームレンズセットはレンズバレルセット７１８に向かって移動し、それにより、レールに沿った位置を増大させる。前部ズームレンズセット７２４も移動する。しかしながら、その移動は後部ズームレンズセット７３０の移動と必ずしも等しいものである必要はない。代わりに、前部ズームレンズセット７２４の移動は、倍率を変更しながら、フォーカスを維持するよう焦点面の位置を保持するように、セット７２４と７３０との間の距離変更を説明する。例えば、倍率レベルを１０Ｘから９Ｘに下げるには、プロセッサ１５２２は、後部ズームレンズセット７３０に位置１０から位置１１にレールに沿って移動するように命令する。加えて、プロセッサ１５２２は、前部ズームレンズセット７２４に位置５から位置４にレール（又はセット７３０と同じレール）に沿って移動するように命令する。倍率を変更するために、セット７２４及び７３０を移動させるのみならず、フォーカスを維持するために、セット７２４及び７３０は互いに対しても移動した。

セット７２４及び７３０をいかに移動し得るかの一例を表２が提供することを理解されたい。他の例では、表２は、より精密な倍率及び／又はセット７２４及び７３０の位置を説明するための追加の行を含み得る。追加又は代替として、表２は、後部作業距離レンズ７０４の列を含み得る。例えば、後部作業距離レンズ７０４は、フォーカスを維持するために、前部ズームレンズセット７２４への代替又は追加として移動し得る。さらに、表２は、作業距離を変更しながらフォーカスを維持するセット７２４及び７３０並びに後部作業距離レンズ７０４の位置を指定する行を含み得る。

表２中の値は、較正を通して決定し得、及び／又はリモートコンピュータ又はユーザ入力デバイス１４１０から受信し得る。較正中、情報プロセッサモジュール１４０８は、異なる倍率及び／又は作業距離を通して進む較正プログラム１５６０を動作し得る。情報プロセッサモジュール１４０８におけるプロセッサ１５６２は、画像自体の画像処理を実行し得、又は、ピクセルデータを受信して、例えば、所定の形状及び／又は文字を有するテンプレートを使用して、所望の倍率が達成されるときを判断し得る。プロセッサ１５６２は、受信した画像のピントが合っているか否かを判断する。画像がピンボケしているとの判断に応答して、プロセッサ１５６２は、前部ズームレンズセット７２４及び／又は後部作業距離レンズセット７０４を調整する命令をプロセッサ１５２２に送信する。調整は、プロセッサ１５６２により画像にピントが合っていると判断されるまでの光路に沿った前方向及び逆方向での反復移動を含み得る。画像にピントが合っていると判断するに、プロセッサ１５６２は、例えば、光の曖昧さが最小である画像を探し、及び／又は隣接するピクセル領域間の光の値の差（差が大きいほど、よりピントが合った画像に対応する）についてピクセルデータを分析する画像分析を実行し得る。所望の作業距離及び倍率で画像にピントが合っていると判断された後、プロセッサ１５６２及び／又はプロセッサ１５２２は次に、セット７２４及び７３０及び／又は後部作業距離レンズ７０４の位置及び対応する倍率レベルを記録し得る。

３．一例のフィルタ位置
図１５のモータ・照明モジュール１４０６の一例のプロセッサ１５２２は、受信した命令に基づいてフィルタ７４０を左右の光路に移動させるように構成される。幾つかの例では、フィルタ７４０はミラーアレイを含み得る。これらの例では、プロセッサ１５２２は、１つ又は複数のモータ１５４２を作動させて、ミラーの位置を変更する命令をフィルタモータ駆動装置１５４０に送信する。幾つかの場合、駆動装置１５４０は、１つ又は複数の経路に沿ってフィルタ７４０に電荷を送信し、特定のミラー要素をオン又はオフ位置に切り替えさせ得る。これらの例では、フィルタタイプ選択は一般に、どのミラーを作動するかに二元的に基づく。

他の例では、フィルタ７４０は、赤外線遮断フィルタ、近赤外線バンドパスフィルタ、及び近紫外線遮断フィルタ等の異なるタイプのフィルタを有するホィールを含み得る。これらの例では、ホィールはフィルタモータ１５４２により回転される。プロセッサ１５２２は、異なるフィルタのパーテーションに対応するホィールの停止位置を決定する。プロセッサ１５２２はまた、各停止位置に対応するロータリエンコーダ値も決定する。

プロセッサ１５２２は較正プログラム１５３０を動作し得、及び／又はプロセッサ１５６２は較正プログラム１５６０を動作して、停止位置を決定し得る。例えば、プロセッサ１５２２は、フィルタホィール７４０をゆっくりと回転し得、プロセッサ１５６２は、ピクセルにおいて受け取られる光が変わるときを判断する（画像分析を使用して又は画像捕捉モジュール１４０４からピクセルデータを読み出して）。ピクセルにおける光値の変化は、光路に適用されているフィルタタイプの変更を示す）。幾つかの場合、プロセッサ１５２２は、どの光源７０８がアクティブ化されているかを変更し得、異なるフィルタタイプが適用される場合、ピクセルにおける更なる区別を生み出す。

４．一例の光制御及びフィルタ
先に開示したように、プロセッサ１５２２は、フィルタ７４０と併せて光源７０８を制御して、所望の波長の光を光学画像センサ７４６及び７４８に到達させ得る。幾つかの例では、プロセッサ１５２２は、光源７０８の１つ又は複数のアクティブ化とフィルタ７４０の１つ又は複数のアクティブ化との間のタイミングを制御又は同期し得る。タイミングを同期するために、プログラム１５３０は、特定のフィルタをアクティブ化する遅延時間を指定し得る。プロセッサ１５２２はプログラム１５３０を使用して、例えば、光源７０８をオンにする信号の送信と相対して、フィルタ７４０をアクティブ化する信号をいつ送信するかを決定する。スケジュールされたタイミングは、指定された光源７０８がアクティブ化される場合、適切なフィルタ７４０が適用されることを保証する。そのような構成により、ある光源７０８により強調表示された特徴（蛍光等）を、白色光又は周囲光等の第２の光源７０８下で表示される特徴の上に又は特徴と併せて表示することができる。

幾つかの場合、光源７０８は、光フィルタ７４０を変更し得る速度ほど高速に切り替え得、それにより、異なる光で記録された画像を併せて、互いの上に表示できるようにする。例えば、蛍光を発する（染料又は造影剤の投与に起因して）静脈又は他の解剖学的構造は、周囲照明下の画像の上に表示し得る。この例では、静脈は、可視光で示される背景の解剖学的特徴に対して強調表示される。この場合、情報プロセッサモジュール１４０８のプロセッサ１５６２及び／又はグラフィックス処理ユニット１５６４（例えば、ビデオカード又はグラフィックスカード）は、あるフィルタの適用中に記録された１つ又は複数の画像を、後続フィルタの適用中に記録された画像と結合し、又は重ね得る。

幾つかの実施形態では、プロセッサ１５２２は、複数の光源７０８を同時にアクティブ化し得る。光源７０８は同時又は順次アクティブ化されて、異なる波長の光を「インターリーブ」し、光学画像センサ７４６及び７４８における適切なピクセルを使用して異なる情報を抽出できるようにする。光源を同時にアクティブ化することは、暗視野の照明に役立ち得る。例えば、幾つかの用途は、ＵＶ光を使用して、標的部位７００における蛍光を刺激する。しかしながら、ＵＶ光はオペレータにより非常に暗く知覚される。したがって、プロセッサ１５２２は、ＵＶ光に感度を有するが、幾らかの可視光を検出することもできるピクセルを圧倒せずに外科医が視野を観測できるように、可視光源１５３８を周期的にアクティブ化して、幾らかの可視光を視野に追加し得る。別の例では、複数の光源７０８を交互にすることにより、幾つかの場合、レンジの縁部で重複する感度を有する光学画像センサ７４６及び７４８のピクセルのウォッシュアウトが回避される。

５．光強度制御
図１５の一例のプロセッサ１５２２は、１つ又は複数のプログラム１５３０を実行して、光源７０８により提供される照明レベルの強度を変更するように構成される。被写界深度が標的部位７００における照明レベルに依存することを理解されたい。一般に、高い照明ほど大きな被写界深度を提供する。プロセッサ１５２２は、視野をウォッシュアウト又は過熱せずに、所望の被写界深度に適切な量の照明が提供されることを保証するように構成される。

可視光源７０８ａは、可視光駆動装置１５３８により駆動され、スペクトルの人間可視部分の光及びその領域外の幾らかの光を出力する。ＮＩＲ光源７０８ｂはＮＩＲ光駆動装置１５３６により駆動され、主に、近赤外線と呼ばれる波長の光を出力する。ＮＵＶ光源７０８ｃはＮＵＶ光駆動装置１５３４により駆動され、主に、近紫外線と呼ばれる、可視スペクトルの藍色部分の波長の光を出力する。各光駆動装置１５３４、１５３６、及び１５３８は、プロセッサ１５２２により提供されるコマンドにより制御される。光源７０８の各出力スペクトルの制御は、ＰＷＭ信号により達成され、制御電圧又は電流は最小（例えば、オフ）値と最大（例えば、オン）値との間で切り替えられる。光源７０８から出力される光の輝度は、切り替え率及び電圧又は電流がＰＷＭ信号のサイクル毎の最大レベルにある時間の割合を変更することにより制御される。

幾つかの例では、プロセッサ１５２２は、視野のサイズ又はズームレベルに基づいて光源７０８の出力を制御する。プロセッサ１５２２は、光強度がズームの関数になる特定の光の感度設定を指定するプログラム１５３０を実行し得る。プログラム１５３０は、例えば、ズームレベルを光強度値に相関付けるルックアップテーブルを含み得る。プロセッサ１５２２は、プログラム１５３０を使用して、選択された倍率レベルに基づいて光源７０８のＰＷＭ信号を選択する。幾つかの例では、プロセッサ１５２２は、倍率が上げられるにつれて光強度を低減して、単位面積当たりで視野に提供される光量を維持し得る。

Ｃ．一例の情報プロセッサモジュール
図１５の立体視覚化カメラ３００内の一例の情報プロセッサモジュール１４０８は、表示のために画像捕捉モジュール１４０４から受信した画像／フレームを分析し処理するように構成される。加えて、情報プロセッサモジュール１４０８は、異なるデバイスとインターフェースし、制御命令を画像捕捉モジュール１４０４及び／又はモータ・照明モジュール１４０６へのメッセージに翻訳するように構成される。情報プロセッサモジュール１４０８はまた、手動較正用のインターフェースを提供し、及び／又は光学要素１４０２の自動較正を管理し得る。

図１５に示されるように、情報プロセッサモジュール１４０８は、画像捕捉モジュール１４０４及びモータ・照明モジュール１４０６に通信可能及び／又は電気的に結合される。例えば、通信チャネル１５１４は通信チャネル１５６６及び１５６８に加えて、ＵＳＢ２．０又はＵＳＢ３．０接続を含み得る。したがって、情報プロセッサモジュール１４０８は、モジュール１４０４及び１４０６への電力を調整し提供する。幾つかの実施形態では、情報プロセッサモジュール１４０８は、壁のコンセントからの１１０ボルト交流電流（「ＡＣ」）電力をモジュール１４０４及び１４０６用の５ボルト、１０ボルト、１２ボルト、及び／又は２４ボルト直流電流（「ＤＣ」）供給に変換する。追加又は代替として、情報プロセッサモジュール１４０８は、立体視覚化カメラ３００の筐体３０２内部の電池及び／又はカート５１０における電池から電力を受け取る。

一例の情報プロセッサモジュール１４０８は、画像捕捉モジュール１４０４及びモータ・照明モジュール１４０６と双方向通信するための通信インターフェース１５３２を含む。情報プロセッサモジュール１４０８は、１つ又は複数のプログラム１５６０を実行して、画像捕捉モジュール１４０４から受信した画像／フレームを処理するように構成されたプロセッサ１５６２も含む。プログラム１５６０はメモリ１５７０に記憶し得る。加えて、プロセッサ１５６２は、光学要素１４０２の較正を実行し、及び／又は光学要素１４０２を調整して、右画像及び左画像を位置合わせし、及び／又は視覚的結果を除去し得る。

画像及び／又はフレームを処理して、レンダリングされる三次元立体表示するために、一例の情報プロセッサモジュール１４０８はグラフィックス処理ユニット１５６４を含む。図１６は、本開示の実施形態例によるグラフィックス処理ユニット１５６４の図を示す。動作中、プロセッサ１５６２は画像及び／又はフレームを画像捕捉モジュール１４０４から受信する。アンパックルーチン１６０２が、画像／フレームを、通信チャネル１５１４にわたる伝送に貢献するフォーマットから画像処理に貢献するフォーマットに変換又は他の方法で変更する。例えば、画像及び／又はフレームは、複数のメッセージにおいて通信チャネル１５１４にわたり伝送し得る。一例のアンパックルーチン１６０２は、複数のメッセージからのデータを結合して、フレーム／画像を再度組み立てる。幾つかの実施形態では、アンパックルーチン１６０２は、グラフィックス処理ユニット１５６４により要求されるまで、フレーム及び／又は画像をキューに配置し得る。他の例では、プロセッサ１５６２は、左右の画像／フレーム対のそれぞれを完全に受信しアンパックした後、送信し得る。

一例のグラフィック処理ユニット１５６４は、１つ又は複数のプログラム１５８０（図１５に示される）を使用して、レンダリングに向けて画像を準備する。プログラム１５８０の例を図１５及び図１６に示す。プログラム１５８０は、グラフィックス処理ユニット１５６４のプロセッサにより実行し得る。代替的には、図１６に示される各プログラム１５８０は、別個のグラフィックスプロセッサ、マイクロコントローラ、及び／又は特定用途向け集積回路（「ＡＳＩＣ」）により実行し得る。例えば、デベイヤープログラム１５８０ａは、近傍ピクセルにわたりピクセル値を平滑化又は平均して、図７及び図８の左右の光学画像センサ７４６及び７４８のピクセルグリッド１００２及び１００４に適用されるベイヤーパターンを補償するように構成される。グラフィックス処理ユニット１５６４は、色補正及び／又はホワイトバランス調整のプログラム１５８０ｂ、１５８０ｃ、及び１５８０ｄを含むこともできる。グラフィックス処理ユニット１５６４は、ディスプレイモニタ５１２及び５１４への表示に向けて、色補正された画像／フレームを準備するレンダラープログラム１５８０ｅも含む。グラフィックス処理ユニット１５６４は、周辺入力ユニットインターフェース１５７４と更に対話し、及び／又はそれを含み得、周辺入力ユニットインターフェース１５７４は、標的部位７００の立体表示と共に提示する他の画像及び／又はグラフィックスを結合、融合、又は他の方法で含むように構成される。プログラム１５８０及び情報プロセッサモジュール１４０８の更なる詳細についてより一般に以下で考察する。

一例の情報プロセッサモジュール１４０８は、１つ又は複数のプログラム１５６２を実行して、立体視覚化カメラ３００の待ち時間をチェックし改善し得る。待ち時間は、標的部位７００においてイベントが生じ、その同じイベントをディスプレイモニタ５１２及び５１４に表示するのにかかる時間量を指す。低待ち時間は、立体視覚化カメラ３００が外科医の目の延長である感じを提供し、一方、高待ち時間は、顕微鏡外科処置から注意を逸らす傾向がある。一例のプロセッサ１５６２は、読み出された画像に基づいて結合された立体画像が、表示に向けて送信されるまで、光学画像センサ７４６及び７４８から読み出し中の画像間でどれくらいの時間が経過するかを追跡し得る。高待ち時間の検出は、プロセッサ１５６２にキュー時間を低減させ、フレームレートを増大させ、及び／又は幾つかの色補正ステップをスキップさせ得る。

１．一例のユーザ入力
図１５の情報プロセッサモジュール１４０８の一例のプロセッサ１５６２は、ユーザ入力命令をモータ・照明モジュール１４０６及び／又は画像捕捉モジュール１４０２へのメッセージに変換するように構成される。ユーザ入力命令は、倍率レベル、作業距離、焦点面（例えば、フォーカス）の高さ、光源７０８、及び／又はフィルタ７４０のフィルタタイプを含む立体視覚化カメラ３００の光学態様を変更する要求を含み得る。ユーザ入力命令は、ピントが合っている画像の表示、及び／又は画像位置合わせの表示、及び／又は左画像と右画像との間で位置合わせされたＺＲＰの表示を含め、較正を実行する要求を含むこともできる。ユーザ入力命令は、フレームレート、露出時間、色補正、画像分解能等の立体視覚化カメラ３００のパラメータへの調整を更に含み得る。

ユーザ入力命令は、ユーザ入力デバイス１４１０から受信し得、ユーザ入力デバイス１４１０は、図３の制御アーム３０４の制御機構３０５及び／又は遠隔制御機構を含み得る。ユーザ入力デバイス１４１０は、コンピュータ、タブレットコンピュータ等を含むこともできる。幾つかの実施形態では、命令は、ネットワークインターフェース１５７２及び／又は周辺入力ユニットインターフェース１５７４を介して受信される。他の実施形態では、命令は、有線接続及び／又はＲＦインターフェースから受信し得る。

一例のプロセッサ１５６２は、命令タイプを決定し、ユーザ入力がいかに処理されるべきかを決定するプログラム１５６０を含む。一例では、ユーザは、制御機構３０５のボタンを押下して、倍率レベルを変更し得る。オペレータが立体視覚化カメラ３００を所望の倍率レベルに到達させるまでボタンを押下し続ける。これらの例では、ユーザ入力命令は、例えば、倍率レベルを増大すべきであることを示す情報を含む。受信される各命令で（又は命令を示す信号が受信された各時間期間で）、プロセッサ１５６２は、倍率の変更を示す制御命令をモータ・照明プロセッサ１４０６に送信する。プロセッサ１５２２は、プログラム１５３０から、例えば、表２を使用して、ズームレンズセット７２４及び７３０を移動させる量を決定する。それに従ってプロセッサ１５２２は、信号又はメッセージを後部ズームレンズモータ駆動装置１５４４及び／又は前部ズームレンズモータ駆動装置１５４８に送信して、後部ズームレンズモータ１５４６及び／又は前部ズームレンズモータ１５５０に、プロセッサ１５６２により指定された量だけ後部ズームレンズセット７３０及び／又は前部ズームレンズセット７２４を移動させて、所望の倍率レベルを達成する。

上記例では、立体視覚化カメラ３００が、ユーザ入力に基づいて変更を提供するが、フォーカス及び／又は高画質を維持するように自動調整も行うことを理解されたい。例えば、倍率レベルを単に変更する代わりに、プロセッサ１５２２はまた、フォーカスを維持するために、ズームレンズセット７２４及び７３０をいかに移動させるべきかを決定し、それにより、オペレータがこのタスクを手動で実行する必要があることから救う。加えて、プロセッサ１５６２は、リアルタイムで、倍率レベルが変更される場合、左右画像内のＺＲＰを調整及び／又は位置合わせし得る。これは、例えば、図１０のピクセルグリッド１００２及び１００４に関してピクセルセット１００６及び１００８の位置を選択又は変更することにより行い得る。

別の例では、プロセッサ１５６２は、フレームレートを変更する命令をユーザ入力デバイス１４１０から受信し得る。プロセッサ１５６２は、メッセージを画像捕捉モジュール１４０４のプロセッサ１５０４に送信する。そして、プロセッサ１５０４は、新しいフレームレートを示すものを右画像センサ７４６及び左画像センサ７４８のレジスタに書き込む。プロセッサ１５０４はまた、新しいフレームレートで内部レジスタを更新して、ピクセルが読み出されるペースを変更することもできる。

更に別の例では、プロセッサ１５６２は、ＺＲＰの較正ルーチンを開始する命令をユーザ入力デバイス１４１０から受信し得る。これに応答して、プロセッサ１５６２は、較正をいかに動作させるべきかを指定するプログラム１５６０を実行し得る。プログラム１５６０は、例えば、画質を検証するルーチンに加えて、倍率レベル及び／又は作業距離の進行又は反復を含み得る。ルーチンは、各倍率レベルで、ＺＲＰに加えてフォーカスを検証すべきであることを指定し得る。ルーチンはまた、ピントの合った画像を達成するように、ズームレンズセット７２４及び７３０及び／又は後部作業距離レンズ７０４をいかに調整すべきかを指定することもできる。ルーチンは、右画像及び左画像のＺＲＰを倍率レベルでいかにセンタリングすべきかを更に指定し得る。プログラム１５６０は、画質が検証されると、ピクセルセット１００６及び１００８の位置及び対応する倍率レベルに加えて、ズームレンズセット７２４及び／又は７３０及び／又は後部作業距離レンズ７０４の位置を記憶し得る（ルックアップテーブルに）。したがって、同じ倍率レベルが後に要求される場合、プロセッサ１５６２はルックアップテーブルを使用して、モータ・照明モジュール１４０６へのズームレンズセット７２４及び／又は７３０及び／又は後部作業距離レンズ７０４の位置及び画像捕捉モジュール１４０４へのピクセルセット１００６及び１００８の位置を指定する。幾つかの較正ルーチンでは、光学要素１４０２のレンズの少なくとも幾つかが、ＺＲＰをセンタリングし、及び／又は左右画像を位置合わせするように半径方向／回転方向において調整し、及び／又はチルトし得ることを理解されたい。

２．一例のインターフェース
立体視覚化カメラ３００と外部デバイスとの通信を促進するために、一例の情報プロセッサモジュール１４０８は、ネットワークインターフェース１５７２及び周辺入力ユニットインターフェース１５７４を含む。一例のネットワークインターフェース１５７２は、リモートデバイスを情報プロセッサモジュール１４０８に通信可能に結合して、例えば、記録されたビデオを記憶し、作業距離、ズームレベル、フォーカス、較正、又は立体視覚化カメラ３００の他の特徴を制御できるようにするよう構成される。幾つかの実施形態では、リモートデバイスは、ルックアップテーブルを較正する値若しくはパラメータを提供し得、又はより一般には、較正パラメータを有するプログラム１５３０を提供し得る。ネットワークインターフェース１５７２は、Ｅｔｈｅｒｎｅｔ（登録商標）インターフェース、ローカルエリアネットワークインターフェース、及び／又はＷｉ−Ｆｉインターフェースを含み得る。

一例の周辺入力ユニットインターフェース１５７４は、１つ又は複数の周辺機器１５７６に通信可能に結合し、患者の生理学的データ等の周辺データを立体画像データと統合するのを促進するように構成される。周辺入力ユニットインターフェース１５７４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）インターフェース、ＵＳＢインターフェース、ＨＤＭＩ（登録商標）インターフェース、ＳＤＩ等を含み得る。幾つかの実施形態では、周辺入力ユニットインターフェース１５７４は、ネットワークインターフェース１５７２と結合し得る。

周辺機器１５７６は、例えば、データ又はビデオ記憶ユニット、患者生理学的センサ、医療撮像デバイス、輸液ポンプ、透析装置、及び／又はタブレットコンピュータ等を含み得る。周辺データは、専用二次元赤外線専用カメラからの画像データ、ユーザのラップトップコンピュータからの診断画像、及び／又はＡｌｃｏｎ Ｃｏｎｓｔｅｌｌａｔｉｏｎ（登録商標）システム及びＷａｖｅＴｅｃ Ｏｐｔｉｗａｖｅ Ｒｅｆｒａｃｔｉｖｅ Ａｎａｌｙｓｉｓ（ＯＲＡ（登録商標））システム等の眼科デバイスからの画像又は患者診断テキストを含み得る。

一例の周辺入力ユニットインターフェース１５７４は、周辺機器１５７６からのデータを立体画像との併用に適切なデジタル形態に変換及び／又はフォーマットするように構成される。デジタル形態になると、グラフィックス処理ユニット１５６４は、周辺データを他のシステムデータ及び／又は立体画像／フレームと統合する。データは、ディスプレイモニタ５１２及び／又は５１４に表示するように立体画像と共にレンダリングされる。

立体画像への周辺データの包含を構成するために、プロセッサ１５６２は統合セットアップを制御し得る。一例では、プロセッサ１５６２は、グラフィックス処理ユニット１５６４に構成パネルをディスプレイモニタ５１２及び／又は５１４に表示させ得る。構成パネルは、オペレータが周辺機器１５７６をインターフェース１５７４及びプロセッサ１５６２に接続して、続けて、機器１５７６との通信を確立できるようにし得る。プロセッサ１５６４は次に、どのデータが利用可能かを読み出し得、又はオペレータが構成パネルを使用して、データディレクトリロケーションを選択できるようにし得る。ディレクトリロケーション内の周辺データは、構成パネルに表示される。構成パネルはまた、オペレータに、周辺データを立体画像データに重ねる又は別個のピクチャとして表示する選択肢を提供することもできる。

周辺データ（及びオーバーレイフォーマット）の選択は、プロセッサ１５６２にデータを読み出させ、グラフィックス処理ユニット１５６４に送信させる。グラフィックス処理ユニット１５６４は、オーバーレイグラフィック（リアルタイム立体画像との術前画像又はグラフィックスの融合等）、「ピクチャインピクチャ」、及び／又はメイン立体画像ウィンドウの横又は上のサブウィンドウとして提示するために周辺データを立体画像データに適用する。

３．一例のデベイヤープログラム
図１６の一例のデベイヤープログラム１５８０ａは、あらゆるピクセル値の赤色、緑色、及び青色の値を有する画像及び／又はフレームを生成するように構成される。上述したように、右光学画像センサ７４６及び左光学画像センサ７４８のピクセルは、赤色波長範囲、青色波長範囲、又は緑色波長範囲の光を透過するフィルタを有する。したがって、各ピクセルは光データの一部のみを含む。したがって、画像捕捉モジュール１４０４から情報プロセッサモジュール１４０８において受信される各画像及び／又はフレームは、赤色、青色、又は緑色ピクセルデータのいずれかを含むピクセルを有する。

一例のデベイヤープログラム１５８０ａは、隣接及び／又は近傍ピクセルの赤色、青色、及び緑色ピクセルデータを平均して、各ピクセルのより完全な色データを特定するように構成される。一例では、赤色データを有するピクセル及び青色データを有するピクセルは、緑色データを有する２つのピクセル間に配置される。２つのピクセルの緑色ピクセルデータは平均され、赤色データを有するピクセル及び青色データを有するピクセルに割り当てられる。幾つかの場合、平均された緑色データは、各緑色ピクセルからの赤色データを有するピクセル及び青色データを有するピクセルの距離に基づいて加重し得る。較正後、元々赤色又は青色データのみを有するピクセルはここで、緑色データを含む。したがって、デベイヤープログラム１５８０ａがグラフィックス処理ユニット１５６４により実行された後、各ピクセルは、赤色光、青色光、及び緑色光の量についてのピクセルデータを含む。異なる色のピクセルデータはブレンドされて、色スペクトルでの結果としての色を決定し、これは表示のためにレンダラープログラム１５８０ｅ及び／又はディスプレイモニタ５１２及び５１４により使用し得る。幾つかの例では、デベイヤープログラム１５８０ａは、結果色を決定し、色を示すデータ又は識別子を記憶し得る。

４．一例の色補正
一例の色補正プログラム１５８０ｂ、１５８０ｃ、及び１５８０ｄは、ピクセル色データを調整するように構成される。センサ色補正プログラム１５８０ｂは、光学画像センサ７４６及び７４８の色検知における変動性を説明又は調整するように構成される。ユーザ色補正プログラム１５８０ｃは、オペレータの知覚及びフィードバックに基づいてピクセル色データを調整するように構成される。さらに、ディスプレイ色補正プログラム１５８０ｄは、ディスプレイモニタタイプに基づいてピクセル色データを調整するように構成される。

センサ変動性について色を補正するために、一例の色補正プログラム１５８０ｂは、グラフィックス処理ユニット１５６４及び／又はプロセッサ１５６２により実行可能な較正ルーチンを指定する。センサ較正は、Ｘ−Ｒｉｔｅ，Ｉｎｃ．によるＣｏｌｏｒＣｈｅｃｋｅｒ（登録商標）Ｄｉｇｉｔａｌ ＳＧ等の較正されたカラーチャートを標的部位７００に配置することを含む。プロセッサ１５６２及び／又はグラフィックス処理ユニット１５６４はプログラム１５８０ｂを実行し、プログラム１５８０ｂは、カラーチャートの左右画像を記録する命令を画像捕捉モジュール１４０４に送信することを含む。左右画像からのピクセルデータ（デベイヤープログラム１５８０ａによる処理後）は、ネットワークインターフェース１５７２を介して周辺ユニット１５７６及び／又はリモートコンピュータからメモリ１５７０に記憶し得るカラーチャートに関連するピクセルデータと比較し得る。プロセッサ１５６２及び／又はグラフィックス処理ユニット１５６４は、ピクセルデータ間の差を特定する。差は較正データ又はパラメータとしてメモリ１５７０に記憶される。センサ色補正プログラム１５８０ｂは、較正パラメータを続く左右画像に適用する。

幾つかの例では、差は、プログラム１５８０ｂが、光学画像センサ７４６及び７４８の全てのピクセルにグローバルに適用されて、可能な限りカラーチャートに近い色を生成することができる色補正データの最良適合を見つけるように、ピクセルの領域にわたり平均し得る。追加又は代替として、プログラム１５８０ｂは、ユーザ入力デバイス１４１０から受信したユーザ入力命令を処理して、色を補正し得る。命令は、オペレータの好みに基づいて、赤色、青色、及び緑色ピクセルデータへの局所的及び／又は大域的変更を含み得る。

一例のセンサ色補正プログラム１５８０ｂは、ホワイトバランスを補正するようにも構成される。一般に、白色光は、等しい値を有する赤色、緑色、及び青色ピクセルを生成するはずである。しかしながら、ピクセル間の差が、撮像中に使用される光の色温度、各ピクセルのフィルタ及び検知要素の固有の側面、及び例えば、図７及び図８の偏向要素７１２のスペクトル濾波パラメータから生じ得る。一例のセンサ色補正プログラム１５８０ｂは、光不均衡を補正する較正ルーチンを指定するように構成される。

ホワイトバランスを実行するために、プロセッサ１５６２は（プログラム１５８０ｂからの命令に従って）、オペレータがニュートラルカードを標的部位７００に配置する命令をディスプレイモニタ５１２及び／又は５１４に表示し得る。次に、プロセッサ１５６２は、画像捕捉モジュール１４０４にニュートラルカードの１つ又は複数の画像を記録するように命令し得る。アンパックルーチン１６０２及びデベイヤープログラム１５８０ａによる処理後、プログラム１５８０ｂは、各ピクセルが略等しい値の赤色、青色、及び緑色データを有するように、赤色、青色、及び緑色データのそれぞれの局所的及び／又は大域的ホワイトバランス較正重み値を決定する。ホワイトバランス較正重み値はメモリ１５７０に記憶される。動作中、グラフィックス処理ユニット１５６４は、プログラム１５８０ｂを使用して、ホワイトバランス較正パラメータを適用して、ホワイトバランスを提供する。

幾つかの例では、プログラム１５８０ｂは、右光学画像センサ７４６及び左光学画像センサ７４８で個々にホワイトバランス較正パラメータを決定する。これらの例では、プログラム１５８０ｂは、左画像及び右画像に別個の較正パラメータを記憶し得る。他の場合、センサ色補正プログラム１５８０ｂは、カラーピクセルデータが右光学画像センサ７４６及び左光学画像センサ７４８で略同一であるように右ビューと左ビューとの間の重みを決定する。決定された重みは、立体視覚化カメラ３００の動作中、続けて使用するために、ホワイトバランス較正パラメータに適用し得る。

幾つかの実施形態では、図１６のセンサ色補正プログラム１５８０ｂは、ホワイトバランス較正パラメータをデジタル利得として右光学画像センサ７４６及び左光学画像センサ７４８のピクセルに提供すべきであることを指定する。例えば、画像捕捉モジュール１４０４のプロセッサ１５０４は、デジタル利得を各ピクセルから読み出されたピクセルデータに適用する。他の実施形態では、ホワイトバランス較正パラメータは、各ピクセルの色検知要素のアナログ利得として適用すべきである。

一例のセンサ色補正プログラム１５８０ｂは、異なる光源７０８及び／又はフィルタタイプのフィルタ７４０がアクティブ化される場合、ホワイトバランス及び／又は色補正を実行し得る。その結果、メモリ１５７０は、どの光源７０８が選択されたかに基づいて異なる較正パラメータを記憶し得る。さらに、センサ色補正プログラム１５８０ｂは、ホワイトバランス及び／又は色補正を異なるタイプの外光に関して実行し得る。オペレータは、ユーザ入力デバイス１４１０を使用して、外部光源の特性及び／又はタイプを指定し得る。この較正により、立体視覚化カメラ３００は、異なる照明環境での色補正及び／又はホワイトバランスを提供することができる。

一例のプログラム１５８０ｂは、各光学画像センサ７４６及び７４８に対して較正を別個に実行するように構成される。したがって、プログラム１５８０ｂは、動作中、異なる較正パラメータを左右の画像に適用する。しかしながら、幾つかの例では、較正は、一方のセンサ７４６又は７４８のみで実行されてもよく、較正パラメータは他方のセンサに使用される。

一例のユーザ色補正プログラム１５８０ｃは、輝度、コントラスト、ガンマ、色合い、及び／又は飽和等の画質パラメータに関するオペレータ提供フィードバックを要求するように構成される。フィードバックは、ユーザ入力デバイス１４１０から命令として受信し得る。ユーザにより行われる調整は、メモリ１５７０にユーザ較正パラメータとして記憶される。これらのパラメータは続けて、光学画像線さ７４６及び７４８の色補正後、ユーザ色補正プログラム１５８０ｃにより左右の光学画像に適用される。

図１６の一例のディスプレイ色補正プログラム１５８０ｄは、例えば、Ｄａｔａｃｏｌｏｒ（登録商標）Ｓｐｙｄｅｒカラーチェッカを使用してディスプレイモニタに関して画像の色を補正するように構成される。プログラム１５８０ｄは、プログラム１５８０ｂと同様に、画像捕捉モジュール１４０４に、標的シーン７００における表示色温度の画像を記録するように命令する。ディスプレイ色補正プログラム１５８０ｄは、ルーチンを動作させて、メモリ１５７０内のルックアップテーブルに記憶された予期されるディスプレイ出力に合うようにピクセルデータを調整する。調整されたピクセルデータは、ディスプレイ較正パラメータをメモリ１５７０に記憶し得る。幾つかの例では、カメラ又は他の撮像センサを周辺入力ユニットインターフェース１５７４に接続し得、周辺入力ユニットインターフェース１５７４は、ディスプレイモニタ５１２及び５１４から記録された色に関する画像又は他のフィードバックを提供し、画像又は他のフィードバックは、ピクセルデータの調整に使用される。

５．一例の立体画像ディスプレイ
図１６のグラフィックス処理ユニット１５６４の一例のレンダラープログラム１５８０ｅは、三次元立体表示に向けて左右画像及び／又はフレームを準備するように構成される。左右画像のピクセルデータがプログラム１５８０ｂ、１５８０ｃ、及び１５８０ｄにより色補正された後、レンダラープログラム１５８０ｅは、左目及び右目データを立体表示に適したフォーマットにし、ディスプレイモニタ５１２又は５１４の一方に送信するために、最終的にレンダリングされたものを出力バッファに配置するように構成される。

一般に、レンダラープログラム１５８０ｅは、右画像及び／又はフレーム及び左画像及び／又はフレームを受信する。レンダラープログラム１５８０ｅは、右及び左の画像及び／又はフレームを結合して、１つのフレームにする。幾つかの実施形態では、プログラム１５８０ｅは、上下モードで動作し、左画像データを半分の高さに凝縮する。次に、プログラム１５８０ｅは、凝縮された左画像データを結合フレームの上半分に配置する。同様に、プログラム１５８０ｅは、右画像データを半分の高さに凝縮し、凝縮された右画像データを結合フレームの下半分に配置する。

他の実施形態では、レンダラープログラム１５８０ｅは横並びモードで動作し、左右の各画像は半分の幅に凝縮され、左画像データが画像の左半分に提供され、一方、右画像データが画像の右半分に提供されるように１つの画像に結合される。更に代替の実施形態では、レンダラープログラム１５８０ｅは、行インターリーブモードで動作し、左右フレーム内の１つ置きのラインは破棄される。左右フレームは一緒に結合されて、完全な立体画像を形成する。

一例のレンダラープログラム１５８０ｅは、結合された左右画像を接続された各ディスプレイモニタに別個にレンダリングするように構成される。例えば、両ディスプレイモニタ５１２及び５１４が接続される場合、レンダラープログラム１５８０ｅは、第１の結合立体画像をディスプレイモニタ５１２に向けてレンダリングし、第２の結合立体画像をディスプレイモニタ５１４に向けてレンダリングする。レンダラープログラム１５８０ｅは、ディスプレイモニタ及び／又は画面のタイプ及び／又は画面サイズと互換性があるように、第１及び第２の結合立体画像をフォーマットする。

幾つかの実施形態では、レンダラープログラム１５８０ｅは、ディスプレイモニタが立体データをいかに表示すべきかに基づいて画像処理モードを選択する。オペレータの脳による立体画像データの適切な解釈には、立体画像の左目データがオペレータの左目に伝達され、立体画像の右目データがオペレータの右目に伝達される必要がある。一般に、ディスプレイモニタは、第１の偏光を左目データに提供し、第２の逆の偏光を右目データに提供する。したがって、結合された立体画像は、ディスプレイモニタの偏光に一致しなければならない。

図１７は、本開示の実施形態例によるディスプレイモニタ５１２の一例を示す。ディスプレイモニタ５１２は、例えば、画面１７０２を有するＬＧ（登録商標）５５ＬＷ５６００三次元テレビジョンであり得る。一例のディスプレイモニタ５１２は、全ての奇数行１７０４が第１の偏光を有し、全ての偶数行１７０６が逆の偏光を有するように画面１７０２上に偏光フィルムを使用する。図１７に示されるディスプレイモニタ５１２との互換性のために、レンダラープログラム１５８０ｅは、左右の画像データが交互のラインにあるような行インターリーブモードを選択する必要がある。幾つかの場合、レンダラープログラム１５８０ｅは、立体画像を準備する前、ディスプレイモニタ５１２の表示特性を要求（又は他の方法で受信）し得る。

画面１７０２に表示された立体画像を見るために、外科医５０４（図５から外科医を想起する）は、行１７０４の第１の偏光に一致する第１の偏光を含む左レンズ１７１４を含むメガネ１７１２を装着する。加えて、メガネ１７１２は、行１７０６の第２の偏光に一致する第２の偏光を含む右レンズ１７１６を含む。したがって、左レンズ１７１４は、左行１７０４からの左画像データからの光のみの大半を透過させながら、右画像データからの光の大半をブロックする。加えて、右レンズ１７１６は、右行１７０６からの右画像データからの光のみの大半を透過させながら、左画像データからの左の大半をブロックする。各目に到達する「誤った」ビューからの光の量は、「クロストーク」として知られ、一般に、快適な閲覧を可能にするのに十分に低い値に保持される。したがって、外科医５０４は、左目で左光学画像センサ７４８により記録された左画像データを見ながら、右目で右光学画像センサ７４６により記録された右画像データを見る。外科医の脳は２つのビューを一緒に融合して、三次元距離及び／又は奥行きの知覚を作り出す。さらに、そのようなディスプレイモニタの使用は、立体視覚化カメラ３００の精度を観測するのに有利である。外科医又はオペレータがメガネを装着しない場合、左右の両ビューは両目で観測可能である。平らな標的が焦点面に配置される場合、２つの画像は理論上、位置合わせされる。位置合わせずれが検出される場合、プロセッサ１５６２により再較正手順を開始することができる。

一例のレンダラープログラム１５８０ｅは、円偏光に関して左右ビューをレンダリングするように構成される。しかしながら、他の実施形態では、レンダラープログラム１５８０ｅは、線形偏光と互換性がある立体画像を提供し得る。どのタイプの偏光が使用されるかに関係なく、一例のプロセッサ１５６２はプログラム１５６０を実行して、レンダラープログラム１５８０ｅにより出力された立体画像の偏光を検証又はチェックし得る。偏光をチェックするために、プロセッサ１５６２及び／又は周辺入力ユニットインターフェース１５７４は、診断データを左画像及び／又は右画像に挿入する。例えば、プロセッサ１５６２及び／又は周辺入力ユニットインターフェース１５７４は、「左」テキストを左画像に重ね、「右」テキストを右画像に重ね得る。プロセッサ１５６２及び／又は周辺入力ユニットインターフェース１５７４は、オペレータに、メガネ１７１２を装着しながら一度に片目を閉じて、左ビューが左目で受け取られ、右ビューが右目で受け取られていることを確認するように指示するプロンプトを表示し得る。オペレータは、ユーザ入力デバイス１４１０を介して偏光が正確であるか否かを示す確認を提供し得る。偏光が正確ではない場合、一例のレンダラープログラム１５８０ｅは、左右の画像を結合立体画像に挿入する位置を逆にするように構成される。

更に他の実施形態では、一例のレンダラープログラム１５８０ｅは、結合立体画像を作成する代わりに、フレームの順次投影を提供するように構成される。ここで、レンダラープログラム１５８０ｅは、右画像及び／又はフレームで順次インターリーブされた左画像及び又はフレームをレンダリングする。したがって、左右の画像は外科医５０４に交互に提示される。これらの他の実施形態では、画面１７０２は偏光されない。代わりに、メガネ１７１２の左右のレンズは電子的又は光学的にフレームシーケンスの各部分と同期し得、それにより、対応する左右のビューをユーザに提供して、奥行きを識別する。

幾つかの例では、レンダラープログラム１５８０ｅは、別個のディスプレイモニタに又は１つのディスプレイモニタ上の別個のウィンドウに表示するように右画像及び左画像の幾らかを提供し得る。そのような構成は、光学要素１４０２の左右の光路のレンズが独立して調整可能な場合、特に有利であり得る。一例では、右光路は第１の倍率レベル設定し得、一方、左光路は第２の倍率レベルに設定される。それに従って一例のレンダラープログラム１５８０ｅは、左ビューからの画像ストリームをディスプレイモニタ５１２に表示し、右ビューからの画像ストリームをディスプレイモニタ５１４に表示し得る。幾つかの場合、左ビューはディスプレイモニタ５１２の第１のウィンドウに表示し得、一方、右ビューは同じディスプレイモニタ５１２の第２のウィンドウに表示される（例えば、ピクチャインピクチャ）。したがって、立体ではないが、左右の画像の同時表示は有用な情報を外科医に提供する。

別の例では、光源７０８及びフィルタ７４０を素早く切り替えて、可視光及び蛍光を有する交互の画像を生成し得る。一例のレンダラープログラム１５８０ｅは、異なる光源下で左ビュー及び右ビューを結合して、立体表示を提供して、例えば、背景を可視光で表示しながら、染料剤を有する静脈を強調表示し得る。

更に別の例では、デジタルズームを右及び／又は左光学画像センサ７４６又は７４８に適用し得る。デジタルズームは一般に、画像の知覚される分解能に影響し、表示分解能及び閲覧者の好み等の要因に依存する。例えば、画像捕捉モジュール１４０４のプロセッサ１５０４は、デジタルズームピクセル間で同期され散在する補間ピクセルを作成することによりデジタルズームを適用し得る。プロセッサ１５０４は、光学画像センサ７４６及び７４８の選択及び補間ピクセルを調整するプログラム１５１０を動作し得る。プロセッサ１５０４は、続けてレンダリングし表示するために、デジタルズームを情報プロセッサモジュール１４０８に適用した状態の右画像及び左画像を送信する。

幾つかの実施形態では、プロセッサ１５０４は、デジタルズーム画像をデジタルズームのない画像間で記録して、標的部位７００の関心領域のデジタルズームのピクチャインピクチャ（又は別個のウィンドウ）表示を提供すべきであるとの命令をプロセッサ１５６２から受信する。それに従ってプロセッサ１５０４は、デジタルズームをピクセルグリッド１００２及び１００４からの１つおきの読み出しに適用する。これにより、レンダラープログラム１５８０ｅは、デジタルズームされた立体画像に加えて、立体最高分解能画像を同時に表示することができる。代替的には、デジタル的にズームすべき画像は、現在の画像からコピーされ、スケーリングされ、レンダリングフェーズ中、現在の画像の上に重ねられた適切な位置に配置される。この代替の構成は、「交互」記録要件を回避する。

６．一例の較正
図１４〜図１６の一例の情報プロセッサモジュール１４０８は、１つ又は複数の較正プログラム１５６０を実行して、例えば、作業距離及び／又は倍率を較正するように構成し得る。例えば、プロセッサ１５６２は、較正ステップを実行して、主対物レンズ組立体７０２から標的部位７００までの作業距離（ミリメートル単位で測定される）を作業距離レンズモータ１５５４の既知のモータ位置にマッピングする命令をモータ・照明モジュール１４０６に送信し得る。プロセッサ１５６２は、エンコーダカウント及び作業距離を記録しながら、光軸に沿って離散ステップで物体平面を順次移動させ、左右の画像を再フォーカスすることにより較正を実行する。幾つかの例では、作業距離は外部デバイスにより測定し得、外部デバイスは、周辺入力ユニットインターフェース１５７４及び／又はユーザ入力デバイス１４１０へのインターフェースを介して、測定された作業距離値をプロセッサ１５６２に送信する。プロセッサ１５６２は、後部作業距離レンズ７０４の位置（作業距離レンズモータ１５５４の位置に基づく）及び対応する作業距離を記憶し得る。

一例のプロセッサ１５６２はまた、プログラム１５６０を実行して、倍率較正を実行することもできる。プロセッサ１５６２は、モータ・照明モジュール１４０６を使用して倍率レベルを選択して光学要素１４０２を設定し得る。プロセッサ１５６２は、光学要素１４０２の位置又は各倍率レベルに関する対応するモータ位置を記録し得る。倍率レベルは、既知のサイズの物体の画像内で高さを測定することにより特定し得る。例えば、プロセッサ１５６２は、１０ピクセル分の高さを有するものとして物体を測定し、ルックアップテーブルを使用して、１０ピクセル高さが５Ｘ倍率に対応すると判断し得る。

２つの異なる撮像モダリティの立体視点を合わせるために、単純なピンホールカメラであるかのようにモデリングすることが望ましいことが多い。ＭＲＩ脳腫瘍等の３Ｄコンピュータモデルの視点は、ユーザ調整可能な方向及び距離（例えば、画像が合成立体カメラにより記録されたかのように）から見ることができる。調整可能性を使用して、ライブ外科画像の視点を合わせることができ、したがって、ライブ外科画像の視点は既知でなければならない。一例のプロセッサ１５６２は、例えば、右光学画像センサ７４６及び左光学画像センサ７４８の投影中心（「ＣＯＰ」）等のこれらのピンホールカメラモデルパラメータの１つ又は複数を較正し得る。投影中心を特定するために、プロセッサ１５６２は、投影中心から物体平面へのフォーカス距離を特定する。まず、プロセッサ１５６２は、倍率レベルに光学要素１４０２を設定する。次にプロセッサ１５６２は、物体平面、物体平面距離未満の距離ｄ、及び物体平面距離よりも大きい距離ｄを含む光軸に沿った３つの異なる距離における画像の高さの測定値を記録する。プロセッサ１５６２は、２つの最も極端な位置における同様の三角に代数数式を使用して、投影中心へのフォーカス距離を特定する。プロセッサ１５６２は、同じ方法を使用して、又は較正に使用される倍率間の比率を特定することにより、他の倍率でのフォーカス距離を特定し得る。プロセッサは投影中心を使用して、ＭＲＩ腫瘍モデル等の所望の融合物体の画像の視点をライブ立体外科画像に合わせ得る。追加又は代替として、ＯｐｅｎＣＶ ｃａｌｉｂｒａｔｅＣａｍｅｒａ等の既存のカメラ較正手順を使用して、上記パラメータ及び光学要素１４０２の歪みモデル等の追加のカメラ情報を見つけ得る。

一例のプロセッサ１５６２は、左右の光軸を更に較正し得る。プロセッサ１５６２は、較正のために左光軸と右光軸との瞳孔間距離を特定する。瞳孔間距離を特定するために、一例のプロセッサ１５６２は左右の画像を記録し、ピクセルセット１００６及び１００８はピクセルグリッド１００２及び１００４にセンタリングされる。プロセッサ１５６２は、左右の画像のＺＲＰ（及び／又は変位された物体への距離）の位置を特定し、これは、画像位置合わせずれ及び視差の度数を示す。加えて、プロセッサ１５６２は、倍率レベルに基づいて視差及び／又は距離をスケーリングする。次に、プロセッサ１５６２は、視差の度数及び／又はディスプレイにおける物体へのスケーリングされた距離を考慮に入れて、三角測量計算を使用して瞳孔間距離を特定する。プロセッサ１５６２は次に、較正点として、瞳孔間距離を指定された倍率レベルでの光軸に関連付ける。

ＶＩ．画像位置合わせ及び疑似視差調整実施形態
人間の視覚と同様に、立体画像は、関心点で収束する右ビュー及び左ビューを含む。右ビュー及び左ビューは、関心点から僅かに異なる角度で記録され、それにより、２つのビュー間に視差が生じる。関心点の前又は後のシーン内のアイテムは、閲覧者からのアイテムの距離又は奥行きを推測することができるような視差を示す。知覚される距離の精度は、例えば、閲覧者の視力の明瞭さに依存する。大半の人間は、視力に何らかのレベルの不完全性を示し、右ビューと左ビューとの間に幾らかの不正確性を生じさせる。しかしながら、それでもなお立体を達成することが可能であり、脳は幾らかのレベルの精度でビューを融合する。

左画像及び右画像が、人間により見られるのではなく、カメラにより記録される場合、ディスプレイ画面上の結合画像間の視差は立体視を生み出し、二次元ディスプレイに三次元立体画像の見た目を提供する。視差の誤差は、三次元立体画像の品質に影響する恐れがある。理論上、好ましい視差と比較した観測視差の不正確性は、疑似視差として知られている。人間と異なり、カメラは、不正確性を自動的に補償する脳を持たない。

疑似視差が大きくなる場合、三次元立体画像は、目眩、頭痛、及び吐き気を誘導するポイントまで閲覧不可能になり得る。顕微鏡及び／又はカメラにおいて視差に影響し得る多くの要因がある。例えば、左右のビューの光学チャネルは、厳密に等しいわけではないことがある。光学チャネルは、不一致のフォーカス、倍率、及び／又は関心点の位置合わせずれを有し得る。これらの問題は、異なる倍率及び／又は作業距離で様々な深刻度を有し得、それにより、較正を通して補正する取り組みを低減する。

図２の外科用顕微鏡２００等の既知の外科用顕微鏡は、接眼レンズ２０６を通して適切なビューを提供するように構成される。多くの場合、既知の外科用顕微鏡の光学要素の画質は、立体視カメラには十分ではない。この理由は、外科用顕微鏡の製造業者が、主な閲覧が接眼レンズを通しての閲覧であると仮定しているためである。任意のカメラ付属品（カメラ２１２等）は、平面視であり、疑似視差を受けないか、又は疑似視差がそれほど明白ではない低画像分解能で立体視である。

ＩＳＯ１０９３６−１：２０００，Ｏｐｔｉｃｓ ａｎｄ ｏｐｔｉｃａｌ ｉｎｓｔｒｕｍｅｎｔｓ−Ｏｐｅｒａｔｉｏｎ ｍｉｃｒｏｓｃｏｐｅｓ−Ｐａｒｔ １：Ｒｅｑｕｉｒｅｍｅｎｔｓ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄｓ等の国際規格は、外科用顕微鏡の画質に仕様限度を提供するために作成された。仕様限度は一般に、外科用顕微鏡の接眼レンズを通して見ることについて設定され、三次元立体表示を考慮していない。例えば、疑似視差に関して、ＩＳＯ１０９３６−１：２０００は、左右のビュー間の垂直軸の差は１５分未満であるべきであると指定している。軸の小さな角度ずれは多くの場合、１／６０度に対応する分又は１／６０分に対応する秒で定量化される。１５分仕様限度は、作業距離２５０ｍｍ及び視野３５ｍｍ（視野角８°を有する）を有する典型的な外科用顕微鏡では左右のビュー間の３％差に対応する。

３％差は、外科医の脳が小さな程度の誤差を解消することが可能な接眼レンズ閲覧の場合、許容可能である。しかしながら、この３％差は、ディスプレイモニタ上で立体的に見られる場合、左右のビュー間に顕著な差を生じさせる。例えば、左右のビューが一緒に見られる場合、３％差は、分断されて見え、長時間にわたり見ることが難しい画像を生成する。

別の問題は、既知の外科用顕微鏡が、１つ又は少数の倍率レベルでのみ１５分仕様限度を満たし得、及び／又は個々の光学要素のみが特定の仕様限度を満たし得ることである。例えば、個々のレンズは特定の基準を満たすように製造される。しかしながら、個々の光学要素が光路において組み合わせられると、規格からの小さなずれは、相殺されるのではなく増幅され得る。これは、共通の主対物レンズを含む５つ以上の光学要素が光路に使用される場合、特に顕著であり得る。加えて、平行チャネル上に光学要素を完全に一致させることは非常に難しい。せいぜい、製造中、外科用顕微鏡の光学要素は、１つ又は少数の特定の倍率レベルでのみ、１５分仕様限度を満たすように較正される。したがって、外科用顕微鏡がＩＳＯ１０９３６−１：２０００仕様を満たすということになっているにも拘わらず、較正ポイント間の誤差は大きいことがある。

加えて、ＩＳＯ１０９３６−１：２０００仕様では、追加の構成要素が追加される場合、より大きな許容差が許されている。例えば、第２の接眼レンズ（例えば、接眼レンズ２０８）の追加は、疑似視差を２分増大させる。ここでも、誤差は、接眼レンズ２０６及び２０８を通して見るには許容可能であり得るが、画像位置合わせずれは、カメラを通して立体的に見た場合、より顕著になる。

既知の外科用顕微鏡と比較して、本明細書に開示される一例の立体視覚化カメラ３００は、光学要素１４０２の少なくとも幾つかを自動的に調整して、疑似視差を低減又はなくすように構成される。光学要素を立体視覚化カメラ３００に組み込むことにより、三次元立体表示に向けて微調整を自動的に（時にはリアルタイムで）行うことが可能になる。幾つかの実施形態では、一例の立体視覚化カメラ３００は２０秒〜４０秒の精度を提供し得、これは、既知の外科用顕微鏡の１５分精度と比較して、光学誤差の９７％低減に近い。

精度の改善により、一例の立体視覚化カメラ３００は、既知の立体顕微鏡では実行することが可能ではない特徴を提供することができる。例えば、多くの新しい顕微鏡外科処置は、最適なサイジング、位置決め、マッチング、配向、及び診断に生体の術部での正確な測定に頼っている。これは、血管のサイズ特定、円環眼内レンズ（「ＩＯＬ」）の配置角度、術前画像からライブビューへの血管系の一致、動脈下の腫瘍の深さ等の特定を含む。それに従って一例の立体視覚化カメラ３００は、例えば、グラフィカルオーバーレイ又は画像分析を使用して解剖学的構造のサイズを特定し、精密な測定を行えるようにする。

既知の外科用顕微鏡では、外科医が既知のサイズの物体（マイクロ定規等）を視野内に配置する必要がある。外科医は物体のサイズを周囲の解剖学的構造と比較して、おおよそのサイズを特定する。しかしながら、外科医は物体を適切な位置に配置し、次に、測定が行われた後、物体を取り出す必要があるため、この手順は比較的遅い。加えて、サイズは外科医の主観的比較及び測定に基づくため、測定は近似しか提供しない。幾つかの既知の立体視カメラは、サイズを特定するためのグラフィカルオーバーレイを提供する。しかしながら、疑似視差が左右のビュー間に存在する場合、これらのオーバーレイの精度は下がる。

Ａ．疑似視差の原因としてのＺＲＰ
ＺＲＰ不正確性は、疑似視差を生じさせる左右の画像間の大きな誤差原因を提供する。ＺＲＰ又はズーム反復点とは、倍率レベルが変わっても同じ位置に留まる視野内の点を指す。図１８及び図１９は、異なる倍率レベルでの左右の視野でのＺＲＰの例を示す。特に、図１８は、低倍率レベルでの左視野１８００及び高倍率レベルでの左視野１８５０を示す。加えて、図１９は、低倍率レベルでの右視野１９００及び高倍率レベルでの右視野１９５０を示す。

図１８及び図１９が、本開示での例示的な参照点を提供する十字線１８０２及び１９０２を示すことに留意されたい。十字線１８０２は、ｙ方向又はｙ軸に沿って位置決めされる第１の十字線１８０２ａ及びｘ方向又はｘ軸に沿って位置決めされる第２の十字線１８０２ｂを含む。さらに、十字線１９０２は、ｙ方向又はｙ軸に沿って位置決めされる第１の十字線１９０２ａ及びｘ方向又はｘ軸に沿って位置決めされる第２の十字線１９０２ｂを含む。実際の実施では、一例の立体視覚化カメラ３００はデフォルトにより通常、オペレータにより要求される場合を除き、光路に十字線を含まないか、又は光路に十字線を追加しない。

理想的には、ＺＲＰは中央位置又は原点に位置すべきである。例えば、ＺＲＰは十字線１８０２及び１９０２にセンタリングされるべきである。しかしながら、光学要素１４０２の不正確性及び／又は光学要素１４０２間のわずかな位置合わせずれは、ＺＲＰを十字線１８０２及び１９０２の中心から離れて配置させる。疑似視差の程度は、左右のビュー間で位置合わせズレしたＺＲＰに加えて、左右のビューの各ＺＲＰが各中心から離れて配置される程度に対応する。さらに、光学要素１４０２における不正確性は、倍率変更にともなってＺＲＰをわずかに変動させ得、それにより、疑似視差の程度を更に大きくする。

図１８は、図７の標的部位７００の視野１８００及び１８５０内の３つの三日月形物体１８０４、１８０６、及び１８０８を示す。視野１８００及び１８５０が光学画像センサ７４６及び７４８に関して線形の視野であることを理解されたい。物体１８０４、１８０６、及び１８０８は視野１８００内に配置されて、疑似視差が左右の画像の位置合わせずれからいかに生じるかを示した。物体１８０４は、十字線１８０２ａに沿って十字形１８０２ｂの上に位置決めされる。物体１８０６は、十字線１８０２ｂに沿って十字線１８０２ａの左側に位置決めされる。物体１８０８は、十字線１８０２ｂの僅かに下に十字線１８０２ａの右側に位置決めされる。左視野１８００のＺＲＰ１８１０は、物体１８０８の切り欠きに位置決めされる。

左視野１８００は、一例の立体視覚化カメラ３００のズームレンズ組立体７１６を使用して倍率レベルを上げる（例えば、ズームする）ことにより、左視野１８５０に変更される。倍率を上げると、視野１８５０に示されるように、物体１８０４、１８０６、及び１８０８は拡大又は成長するように見える。図示の例では、視野１８５０は視野１８００の倍率レベルの約３Ｘである。

低倍率視野１８００と比較して、高倍率視野１８５０内の物体１８０４、１８０６、及び１８０８は、ＺＲＰ１８１０に関して３Ｘ、互いから離れて移動しながら、約３Ｘ増大したサイズを有する。加えて、物体１８０４、１８０６、及び１８０８の位置は、十字線１８０２に相対して移動している。物体１８０４はここで、十字線１８０２ａの左にシフトされ、十字線１８０２ｂから僅かに離れてシフトされる。加えて、物体１８０６はここで、十字線１８０２ａの左に更にシフトされ、十字線１８０２ｂの僅かに上にシフトされる。一般に、物体１８０８は、十字線１８０２に関して同じ（又は略同じ）位置に配置され、ＺＲＰ１８１０は十字線１８０２及び物体１８０６に関して厳密に同じ（又は略同じ）位置に配置される。換言すれば、倍率が上がるにつれて、物体１８０４、１８０６、及び１８０８（及び視野１８５０内の他の何か）は、ＺＲＰ１８１０から離れて外側に移動するように見える。

物体１８０４、１８０６、及び１８０８は、図１９に示される右視野１９００及び１９５０に示される。しかしながら、ＺＲＰの位置は異なる。特に、右視野１９００及び１９５０において、ＺＲＰ１９１０は十字線１９０２ｂの上に、十字線１９０２ａの左に配置される。したがって、ＺＲＰ１９１０は、左視野１８００及び１８５０におけるＺＲＰ１８１０と異なる位置に配置される。図示の例では、左右の光路が好ましくは、第１の倍率レベルにおいて位置合わせされると仮定される。したがって、左視野１８００内の同じ物体１８０４、１８０６、及び１８０８と同じ位置にある右視野１９００に示される物体１８０４、１８０６、及び１８０８。左右のビューは位置合わせされるため、疑似視差は存在しない。

しかしながら、高倍率視野１９５０では、物体１８０４、１８０６、及び１８０８は拡大し、ＺＲＰ１９１０から離れて移動する。ＺＲＰ１９１０の位置を所与として、物体１８０４は右側に移動又はシフトし、物体１８０６は下方に移動又はシフトする。加えて、物体１８０８は、視野１９００内の位置と比較して下方及び右に移動する。

図２０は、高倍率左視野１８５０を高倍率右視野と比較するピクセル図を示す。グリッド２０００は、左光学画像センサ７４６のピクセルグリッド１００２上の物体１８０４（Ｒ）、１８０６（Ｒ）、及び１８０８（Ｒ）の位置が重ねられた左光学画像センサ７４８のピクセルグリッド１００４上の物体１８０４（Ｌ）、１８０６（Ｌ）、及び１８０８（Ｌ）の位置を表し得る。図２０は、物体１８０４、１８０６、及び１８０８が左視野１８５０及び右視野１９５０で異なる位置にあることを明らかに示す。例えば、物体１８０４（Ｒ）は、十字線１９０２ａの右及び十字線１９０２ｂの上に配置され、一方、同じ物体１８０４（Ｌ）は、十字線１８０２ａの左及び十字線１８０２ｂの更に上に配置される。

物体１８０４、１８０６、及び１８０８の位置差は疑似視差に対応し、疑似視差は、異なる位置にＺＲＰ１８１０及び１９１０を生成する光学要素１４０２の光学位置合わせの欠陥によって生じる。歪みがない又は他の撮像誤差がないと仮定すると、図２０に示される疑似視差は一般に、画像内の全ての点で同じである。外科用顕微鏡（図２の顕微鏡２００等）の接眼レンズを通して見る場合、物体１８０４、１８０６、及び１８０８の位置差は目立たないことがある。しかしながら、立体画像でディスプレイモニタ５１２及び５１４において見る場合、差は容易に明らかになり、頭痛、吐き気、及び／又は目眩を生じさせる恐れがある。

図２１は、左右ＺＲＰに関する疑似視差を示す図を示す。図は、図１０の左ピクセルグリッド１００２及び左ピクセルグリッド１００４のオーバーレイを含むピクセルグリッド２１００を含む。この図示の例では、左光路の左ＺＲＰ２１０２は、ｘ軸に沿って＋４及びｙ軸に沿って０に配置される。加えて、右光路の右ＺＲＰ２１０４は、ｘ軸に沿って−１及びｙ軸に沿って０に配置される。原点２１０６は、ｘ軸とｙ軸との交点に示される。

この例では、物体２１０８は、第１の低倍率で左右の画像に関して位置合わせされる。倍率が３Ｘ上がるにつれて、物体２１０８のサイズは増大し、ＺＲＰ２１０２及び２１０４から離れて移動した。輪郭物体２１１０は、ＺＲＰ２１０２及び２１０４が原点２１０６に位置合わせされることに基づいて、第２のより高い倍率では物体２１０８の理論上の位置を示す。特に、第１の倍率レベルでの物体２１０８の切り欠きは、ｘ軸に沿った＋２位置にある。３Ｘ倍率を用いる場合、切り欠きは、切り欠きがより高い倍率レベルでｘ軸に沿って＋６に配置されるようにｘ軸に沿って３Ｘ移動する。加えて、ＺＲＰ２１０２及び２１０４は理論上、原点２１０６に位置合わせされるため、物体２１１０は、左右のビュー（オーバーレイを所与として１つの物体として図２１に示される）の間に位置合わせされる。

しかしながら、この例では、左ＺＲＰ２１０２及び右ＺＲＰ２１０４の位置合わせずれは、物体２１１０をより高倍率で左右のビュー間で位置合わせずれさせる。右光路に関して、右ＺＲＰ２１０４は、低倍率において物体２１０８の切り欠きから３ピクセル分、離れるようにｘ軸に沿って−１に配置される。３Ｘで拡大される場合、この差は９ピクセルになり、これは物体２１１０（Ｒ）として示される。同様に、左ＺＲＰ２１０２はｘ軸に沿って＋４ピクセルに配置される。３Ｘ倍率で、物体２１０８は、２ピクセル分離れることから６ピクセル分離れるように移動し、これはｘ軸に沿って−２における物体２１１０（Ｌ）として示される。

物体２１１０（Ｌ）及び物体２１１０（Ｒ）の位置差は、より高倍率での左右のビュー間の疑似視差に対応する。左右のビューが結合されて、表示される立体画像が生成される場合、レンダラープログラム１８５０ｅが行インターリーブモードを使用するとき、物体２１１０の位置は各行で位置合わせずれする。位置合わせずれは立体視の生成にとって有害であり、ぼやけて見え、又はオペレータを混乱させる画像を生成する恐れがある。

Ｂ．疑似視差の他の原因
左右の光路間のＺＲＰ位置合わせずれは疑似視差の大きな原因であるが、他の誤差原因も存在する。例えば、疑似視差は、左右の光路間の不等倍率変更から生じることがある。平行光路間の倍率差は、光学要素１４０２のレンズの光学特性又は特性の僅かなばらつきから生じることがある。さらに、僅かな差は、図７及び図８の左右の前部ズームレンズ７２６及び７２８のそれぞれ及び左右の後部ズームレンズ７３６及び７３８のそれぞれが独立して制御される場合、位置決めから生じることがある。

再び図１８及び図１９を参照すると、倍率変更差は、左右の光路で異なるサイズの物体及び物体間の異なる間隔を生み出す。例えば、左光路がより高い倍率変更を有する場合、物体１８０４、１８０６、及び１８０８は、図１９の右視野１９５０内の物体１８０４、１８０６、及び１８０８と比較して大きく見え、ＺＲＰ１８１０からより長い距離移動する。ＺＲＰ１８１０及び１９１０が位置合わせられる場合であっても、物体１８０４、１８０６、及び１８０８の位置差は疑似視差を生み出す。

疑似視差の別の原因は、左右の光路の不等フォーカスから生じる。一般に、左右のビュー間の任意のフォーカス差は、画質の知覚される低下を生じさせ得、左ビューが優勢であるべきか、それとも右ビューが優勢であるべきかについて潜在的な混乱を生じさせ得る。フォーカス差が顕著である場合、ピントずれ（「ＯＯＦ（Ｏｕｔ−Ｏｆ−Ｆｏｃｕｓ）」）状況を生じさせ得る。ＯＯＦ状況は特に、左右のビューが同じ画像に示される立体画像で顕著である。加えて、ＯＯＦ状況は容易に補正可能ではなく、その理由は、ピントずれ光路の再フォーカスにより通常、他の光路の焦点が合わなくなるためである。一般に、両光路がフォーカスされる点を特定する必要があり、これは、光路に沿って左右のレンズの位置を変更し、及び／又は標的部位７００からの作業距離を調整することを含み得る。

図２２は、ＯＯＦ状況がいかに生じるかを示す図を示す。図は、知覚される分解能（例えば、フォーカス）を最適分解能セクション２２０２に対するレンズ位置に関連付ける。この例では、左後部ズームレンズ７３４は位置Ｌ１にあり、一方、右後部ズームレンズ７３２は位置Ｒ１にある。位置Ｌ１及びＲ１において、後部ズームレンズ７３２及び７３４は、左右の光路が一致したフォーカスレベルを有するような最適分解能２２０２の範囲内にある。しかしながら、距離ΔＰに対応する、Ｌ１及びＲ１の位置に差がある。後に、作業距離７０６は、一点がピントずれするように変更される。この例では、両後部ズームレンズ７３２及び７３４は、距離ΔＰが変わらないように位置Ｌ２及びＲ２に対して同じ距離、移動する。しかしながら、位置変化により、左後部ズームレンズ７３４が右後部ズームレンズ７３２よりも高い分解能（例えば、よりよいフォーカス）を有するように分解能は大きく変わる。分解能ΔＲはＯＯＦ状況に対応し、これは、左右の光路間のフォーカス位置合わせずれから疑似視差を生じさせる。

疑似視差の更に別の原因は、標的部位７００において移動している撮像物体から生じ得る。疑似視差は、右光学画像センサ７４６及び左光学画像センサ７４８の露出間の小さな同期誤差から生じる。左右のビューが同時に記録されない場合、物体は２つのビュー間で変位又は位置合わせずれして見える。結合された立体画像は、左右のビューで２つの異なる位置に同じ物体を示す。

さらに、疑似視差の別の原因は、拡大中に移動するＺＲＰ点が関わる。セクションＩＶ（Ａ）において上述した例では、左右のビューのＺＲＰがｘ方向又はｙ方向で移動しないと仮定する。しかしながら、ＺＲＰは、ズームレンズ７２６、７２８、７３２、及び／又は７３４が光路又は光軸と厳密に平行に（例えば、ｚ方向において）移動しない場合、拡大中、シフトし得る。図１１を参照して上述したように、力が作動セクション１１０８に印加されると、キャリア７２４はわずかにシフト又は回転し得る。この回転は、倍率レベルが変更される場合、左右のＺＲＰを僅かに移動させ得る。

一例では、倍率変更中、キャリア７３０は一方向に移動し、一方、キャリア７２４は、倍率変更の一部では同じ方向に、フォーカス調整のための倍率変更の残りの部分では逆方向に移動する。キャリア７２４の移動軸が光軸からわずかにチルト又は回転する場合、左光路及び／又は右光路のＺＲＰは、第１の部分にわたり一方向にシフトし、続けて、倍率変更の第２の部分にわたり逆方向にシフトする。加えて、力は不等に印加されるため、右前部ズームレンズ７２６及び左前部ズームレンズ７２８は、左右の光路間で様々な程度のＺＲＰシフトを受け得る。ＺＲＰの位置変化は一緒に、光路の位置合わせずれを生じさせ、それにより、疑似視差を生じさせる。

Ｃ．疑似視差の低減は、立体ビューとのデジタルグラフィックス及び画像の組み込みを促進する
外科用顕微鏡がよりデジタル化されるにつれて、設計者は、グラフィックス、画像、及び／又は他のデジタル効果をライブビュー画像に重ねる特徴を追加している。例えば、ガイダンスオーバーレイ、立体磁気共鳴撮像（「ＭＲＩ」）画像の融合、及び／又は外部データを、カメラにより記録された画像、さらには接眼レンズ自体内に表示される画像と組み合わせ得る。疑似視差は、下の立体画像とのオーバーレイの精度を低減する。外科医は一般に、例えば、ＭＲＩを介して視覚化された腫瘍が、多くは三次元で、融合ライブ外科立体ビュー内に可能な限り正確に配置されることを要求する。そうでなければ、術前腫瘍画像は、外科医に殆ど情報を提供せず、それにより、手術の性能を損なう。

例えば、外科ガイドは、左ビューとの位置合わせがずれながら、右ビュー画像と位置合わせし得る。２つのビュー間で位置合わせずれした外科ガイドは、オペレータにとって容易に明らかである。別の例では、外科ガイドは、グラフィックス処理ユニット１５６４が結合立体画像を作成する前、情報プロセッサモジュール１４０８において左右のビューと別個に位置合わせし得る。しかしながら、左右のビュー間の位置合わせずれは、ガイド間に位置合わせずれを生み出し、それにより、ガイドの有効性を下げ、顕微鏡外科処置中、混乱及び遅延を生み出す。

「ＩＭＡＧＩＮＧ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤＳ ＤＩＳＰＬＡＹＩＮＧ Ａ ＦＵＳＥＤ ＭＵＬＴＩＤＩＭＥＮＳＩＯＮＡＬ ＲＥＣＯＮＳＴＲＵＣＴＥＤ ＩＭＡＧＥ」という名称の米国特許第９，５５２，６６０号明細書（参照により本明細書に援用される）には、術前画像及び／又はグラフィックスがいかに、立体画像と視覚的に融合されるかが開示されている。図２３及び図２４は、履帯画像に融合される場合、疑似視差がデジタルグラフィックス及び／又は画像の精度をいかに失わせるかを示す図を示す。図２４は患者の目２４０２の正面図を示し、図２３は、図２４の平面Ａ−Ａに沿った目の断面図を示す。図２３では、情報プロセッサモジュール１４０８は、焦点面２３０２から、例えば、目２４０２の後嚢上の関心物体２３０４までの尾側距離ｄを特定するように命令される。情報プロセッサモジュール１４０８は、例えば、距離ｄが目２４０２の左右のビューからの画像データの三角測量計算により特定されることを指定するプログラム１５６０を動作させる。ビュー２３０６は、左光学画像センサ７４８の視点から示され、ビュー２３０８は、右光学画像センサ７４６の視点から示される。左ビュー２３０６及び右ビュー２３０８は、目２４０２の前中心２３１０と一致すると仮定される。加えて、左ビュー２３０６及び右ビュー２３０８は、理論上の右投影２３１２及び理論上の左投影２３１４として焦点面２３０２に投影される物体２３０４の二次元ビューである。この例では、プロセッサ１５６２は、三角測量ルーチンを使用して理論上の右投影２３１２の外挿と理論上の左投影２３１４の外挿との交点を計算することにより、関心物体２３０４への距離ｄを特定する。

しかしながら、この例では、疑似視差が存在し、疑似視差は、図２３及び図２４に示されるように、実際の左投影２３１６を距離Ｐだけ、理論上の左投影２３１４の左に配置させる。プロセッサ１５６２は、実際の左投影２３１６及び右投影２３１２を使用し、三角測量ルーチンを使用して右投影２３１２の外挿と実際の左投影２３１６の外挿との交点２３２０への距離を特定する。交点２３２０への距離は、距離ｄに誤差距離ｅを加えたものに等しい。それに従って疑似視差は、立体画像からとられたデータを使用して誤った距離計算を生じさせる。図２３及び図２４に示されるように、小さな程度の疑似視差であっても、大きな誤差を生み出し得る。融合画像の状況では、誤った距離は、立体画像と融合する腫瘍三次元視覚化の不正確な配置に繋がる。不正確な配置は、手術を遅延させ、外科医の施術を妨げ、又は視覚化システム全体を無視させ得る。更に悪いことには、外科医は、腫瘍画像の不正確な配置に頼り、顕微鏡外科処置中、ミスを犯し得る。

Ｄ．一例の立体視覚化カメラは疑似視差を低減又はなくす
図３〜図１６の一例の立体視覚化カメラ３００は、視覚的欠陥、疑似視差、及び／又は通常、疑似視差を生じさせる位置合わせずれした光路を低減又はなくすように構成される。幾つかの例では、立体視覚化カメラ３００は、左右の光路のＺＲＰを左光学画像センサ７４６及び右光学画像センサ７４８のピクセルセット１００６及び１００８の各中心に位置合わせすることにより、疑似視差を低減又はなくす。追加又は代替として、立体視覚化カメラ３００は、左右の画像の光路を位置合わせし得る。立体視覚化カメラ３００が、較正中、疑似視差を低減する動作を実行し得ることを理解されたい。さらに、立体視覚化カメラ３００は、使用中、検出された疑似視差をリアルタイムで低減し得る。

図２５及び図２６は、本開示の実施形態例による、疑似視差を低減又はなくす一例の手順２５００を示す流れ図を示す。手順２５００は図２５及び図２６に示される流れ図を参照して説明されるが、手順２５００に関連するステップを実行する多くの他の方法を使用し得ることを理解されたい。例えば、ブロックの多くの順序は変更し得、特定のブロックは他のブロックと結合し得、記載されるブロックの多くは任意選択的である。さらに、手順２５００に記載される動作は、例えば、一例の立体視覚化カメラ３００の光学要素１４０２、画像捕捉モジュール１４０４、モータ・照明モジュール１４０６、及び／又は情報プロセッサモジュール１４０８を含む複数のデバイスの中で実行し得る。例えば、手順２５００は、情報プロセッサモジュール１４０８のプログラム１５６０の１つにより実行し得る。

一例の手順２５００は、立体視覚化カメラ３００が、左右の光路を位置合わせする命令を受信した（ブロック２５０２）とき、開始される。命令は、立体視覚化カメラ３００が較正ルーチンを実行することをオペレータが要求することに応答して、ユーザ入力デバイス１４１０から受信し得る。他の例では、命令は、左右の画像が位置合わせずれしていると判断された後、情報プロセッサモジュール１４０８から受信し得る。情報プロセッサモジュール１４０８は、左右の画像を重ね、ピクセルの大きなエリアにわたる大きな差は位置合わせがずれた画像を示す、ピクセル値の差を特定するプログラム１５６０を実行することにより、画像が位置合わせされていないと判断し得る。幾つかの例では、プログラム１５６０は、オーバーレイ機能を実行せずに左右の画像のピクセルデータを比較し得、例えば、左ピクセルデータが右ピクセルデータから減算されて、位置合わせずれの深刻度を判断する。

疑似視差を低減する命令を受信した後、一例の立体視覚化カメラ３００は、左光路又は右光路の一方のＺＲＰを見つける。例示を目的として、手順２５００は、左光路のＺＲＰをまず特定することを含む。しかしながら、他の実施形態では、手順２５００は、右光路のＺＲＰをまず特定し得る。左ＺＲＰを特定するために、立体視覚化カメラ３００は、少なくとも１枚のズームレンズ（例えば、左前部ズームレンズ７２８及び／又は左後部ズームレンズ７３４）を左光路のｚ軸に沿って第１の倍率レベルに移動させる（ブロック２５０４）。前部ズームレンズ７２６及び７２８が同じキャリア７２４に接続され、後部ズームレンズ７３２及び７３４が同じキャリア７３０に接続される場合、左レンズの移動は、右レンズも移動させる。しかしながら、手順２５００のこのセクション中、左レンズのみの移動が考慮される。

第１の倍率レベルにおいて、立体視覚化カメラ３００は、左ズームレンズをｚ方向に沿って移動させる（ブロック２５０６）。移動は、例えば、第１の倍率レベル周囲での前後運動を含み得る。例えば、第１の倍率レベルが５Ｘである場合、移動は４Ｘ〜６Ｘであり得る。移動は、５Ｘから４Ｘ等の一方向での移動を含むこともできる。この移動中、立体視覚化カメラ３００は、１枚又は複数枚の他のレンズを調整して、標的部位７００のフォーカスを維持し得る。ブロック２５０８において、左ズームレンズの移動中、立体視覚化カメラ３００は、例えば、左光学画像センサ７４８を使用して、標的部位７００の画像及び／又はフレーム２５０９のストリーム又はシーケンスを記録する。画像２５０９は、ピクセルグリッド１００４の原点及び左ＺＲＰの潜在的な位置を含むように較正されたオーバーサイズピクセルセット１００８を使用して記録される。

情報プロセッサモジュール１４０８の一例のプロセッサ１５６２は、画像ストリームを分析して、画像間でｘ方向又はｙ方向において移動しないエリアの部分を見つける（ブロック２５１０）。エリアの部分は、１つ又は少数のピクセルを含み得、左ＺＲＰに対応する。上述したように、倍率変更中、物体はＺＲＰから離れて移動し、又はＺＲＰに向かって移動する。ＺＲＰにおける物体のみが、倍率が変更された場合、視野に関して一定位置に留まる。プロセッサ１５６２は、ピクセルデータを使用して各ピクセルについて画像ストリーム間のデルタを計算し得る。画像ストリームにわたり最小のデルタを有するエリアは、左ＺＲＰに対応する。

情報プロセッサモジュール１４０８の一例のプロセッサ１５６２は次に、ピクセルグリッド１００４に関して画像ストリーム間で移動しないエリアの部分の座標を特定する（例えば、左ＺＲＰの位置を特定する）（ブロック２５１２）。他の例では、情報プロセッサモジュール１４０８のプロセッサ１５６２は、原点と左ＺＲＰに対応するエリアの部分との間の距離を特定する。距離は、ピクセルグリッド１００４上の左ＺＲＰの位置を特定するのに使用される。左ＺＲＰの位置が特定されると、情報プロセッサモジュール１４０８のプロセッサ１５６２は、左ＺＲＰがピクセルセットの中心（１ピクセル以内）に配置されるような左光学画像センサ７４８のピクセルセット（例えば、ピクセルセット１００８）を特定する（ブロック２５１４）。この時点で、左ＺＲＰは左光路内でセンタリングされる。

幾つかの例では、ブロック２５０４〜２５１４は、左ＺＲＰが原点のピクセル内にあり、疑似視差が最小になるまで、ピクセルセットを再選択することにより繰り返し実行し得る。ピクセルグリッドが特定された後、情報プロセッサモジュール１４０８のプロセッサ１５６２は、較正点として、ピクセルセットの座標及び／又は左ＺＲＰの座標の少なくとも一方をメモリ１５７０に記憶する（ブロック２５１６）。情報プロセッサモジュール１４０８のプロセッサ１５６２は、立体視覚化カメラ３００が第１の倍率レベルに戻る場合、同じピクセルセットが選択されるように第１の倍率レベルに較正点を関連付け得る。

図２７は、左ＺＲＰが、左光学画像センサ７４８のピクセルグリッドに関していかに調整されるかを示す図を示す。まず、原点２７０４にセンタリングされた初期（例えば、オーバーサイズ）ピクセルセット２７０２が選択される。ピクセルセット２７０２は、潜在的なＺＲＰを画像ストリームに記録するのに十分に大きい。この図示の例では、左ＺＲＰ２７０６は、原点２７０４の右上に配置される。情報プロセッサモジュール１４０８のプロセッサ１５６２は、左ＺＲＰ２７０６の位置に基づいて、左ＺＲＰ２７０６がピクセルセット２７０８の中心に配置又は位置するようなピクセルセット２７０８を特定する。

図２５において左ＺＲＰが特定され、ピクセルセットの原点と位置合わせされた後、一例の手順２５００は、図２６において左右の画像を位置合わせする。画像を位置合わせするために、一例のプロセッサ１５６２は、左ＺＲＰが原点と位置合わせされた後に記録された左右の画像からのピクセルデータを比較する。幾つかの実施形態では、プロセッサ１５６２は、左右の画像を重ねて、例えば、減算法及び／又はテンプレート法を使用して差を特定する。プロセッサ１５６２は、結果として生成される右画像が左画像と位置合わせされるか、又は一致するような、右光路のピクセルセットを選択又は特定する（ブロック２５１９）。

一例のプロセッサ１５６２は、図示の実施形態では、右ＺＲＰを特定する。ステップは、左ＺＲＰについてブロック２５０４〜２５１２において考察したステップと同様である。例えば、ブロック２５１８において、立体視覚化カメラ３００は、右ズームレンズを第１の倍率レベルに移動させる。幾つかの実施形態では、右レンズの倍率レベルは、左ＺＲＰの特定に使用された倍率レベルと異なる。次に、情報プロセッサモジュール１４０８の一例のプロセッサ１５６２は、右ズームレンズを倍率レベル前後に移動させ、移動中、右光学画像センサ７４６から画像２５２１のストリームを受信する（ブロック２５２０及び２５２２）。情報プロセッサモジュール１４０８の一例のプロセッサ１５６２は、画像間で移動しないエリアの部分を見つけることにより、画像の右ストリームから右ＺＲＰを特定する（ブロック２５２４）。プロセッサ１５６２は次に、右ＺＲＰの座標及び／又は位置合わせされたピクセルセット１００６の中心と右ＺＲＰとの間の距離を特定する（ブロック２５２６）。

次に、プロセッサ１５６２は、例えば、右ＺＲＰの距離又は座標を使用して、ｘ方向、ｙ方向、及び／又はチルト方向の少なくとも１つにおいて右光路内で少なくとも１枚のレンズを移動させて、右ＺＲＰを位置合わせされたピクセルセット１００６の中心と位置合わせするように、モータ・照明モジュール１４０６に命令する（ブロック２５２８）。換言すれば、右ＺＲＰは、位置合わせされたピクセルセット１００６の中心と一致するように移動する。幾つかの例では、右前部レンズ７２０、右レンズバレル７３６、右最終光学要素７４５、及び／又は右画像センサ７４６は、右光路のｚ方向に関してｘ方向、ｙ方向、及び／又はチルト方向に移動する（例えば、屈曲部を使用して）。移動の程度は、ピクセルセット１００６の中心からの右ＺＲＰの距離に比例する。幾つかの実施形態では、プロセッサ１５６２は、レンズ移動と同じ効果を有するように、右前部レンズ７２０、右レンズバレル７３６、及び／又は右最終光学要素７４５の属性をデジタルに変更する。プロセッサ１５６２はステップ２５２０〜２５２８を繰り返し、及び／又は続く右画像を使用して、右ＺＲＰがピクセルセット１００６の中心と位置合わせされることを確認し、及び／又はピクセルセットの中心と右ＺＲＰを位置合わせするのに必要な更なるレンズ移動を繰り返し決定し得る。

一例のプロセッサ１５６２は、較正点として、右ピクセルセット及び／又は右ＺＲＰの座標をメモリ１５７０に記憶する（ブロック２５３０）。プロセッサ１５６２は、右ＺＲＰを位置合わせするために移動した右レンズの位置を較正点に記憶することもできる。幾つかの例では、右光路の較正点は、第１の倍率レベルと併せて左光路の較正点と共に記憶される。したがって、立体視覚化カメラ３００が続けて第１の倍率レベルに設定される場合、プロセッサ１５６２は、較正点内のデータを光学画像センサ７４６及び７４８及び／又は１つ又は複数の光学要素１４０２の半径方向位置決めに適用する。

幾つかの例では、手順２５００は、異なる倍率レベル及び／又は作業距離で繰り返し得る。したがって、プロセッサ１５６２は、別の倍率レベル又は作業距離でＺＲＰ較正が必要であるか否かを判断する（ブロック２５３２）。別の倍率レベルを選択すべき場合、手順２５００は図２５におけるブロック２５０４に戻る。しかしながら、別の倍率レベルが必要ない場合、一例の手順は終了する。

各較正点はルックアップテーブルに記憶し得る。テーブル内の各行は、異なる倍率レベル及び／又は作業距離に対応し得る。ルックアップテーブル内の列は、左ＺＲＰ、右ＺＲＰ、左ピクセルセット、及び／又は右ピクセルセットの座標を提供し得る。加えて、１つ又は複数の列は、位置合わせされた左右の画像に加えて、倍率レベルにおいてフォーカスを達成するための光学要素１４０２のレンズの関連位置（例えば、半径方向位置、回転方向位置、チルト位置、及び／又は軸方向位置）を指定し得る。

それに従って手順２５００は、各光学画像センサ７４６及び７４８のピクセルグリッド並びに三次元立体画像において互いに位置合わせすべき標的部位のビューに加えて、右ＺＲＰ及び左ＺＲＰを生成する。幾つかの場合、左右の画像及び対応するＺＲＰは、１ピクセル以内の精度及び位置合わせを有する。そのような精度は、左右のビュー（例えば、左右の光路からの画像）を重ね、立体的にではなく両目で両ビューを観測することによりディスプレイ５１４又は５１４で観測可能であり得る。

幾つかの例では、右ＺＲＰがピクセルセットの原点と位置合わせされ、又は一致するような右ピクセルセットがまず選択されることを理解されたい。次に、左右の光学画像は、光学要素１４０２の１枚又は複数枚の右レンズ及び／又は左レンズを移動させることにより位置合わせし得る。代替の手順はなお、互いの間で及び光学画像センサ７４６及び７４８に関してセンタリングされ位置合わせされた右ＺＲＰ及び左ＺＲＰを提供する。

手順２５００は最終的に、左右のＺＲＰが位置合わせされたままであり、左右の画像が位置合わせされたままであることを保証することにより、全光学倍率範囲を通して立体視覚化カメラ３００における疑似視差を低減又はなくす。換言すれば、左右の光学画像センサ７４６及び７４８の二重光学系は、左右の光路間の画像の中心における視差が焦点面において概ねゼロであるように位置合わせされる。さらに、各光路のＺＲＰは各ピクセルセットの中心に割り当てられているため、一例の立体視覚化カメラ３００は、倍率範囲にわたり同焦点であり、倍率及び作業距離範囲にわたり同中心である。したがって、倍率のみを変更することで、同じ中心点に合わせながら、両光学画像センサ７４６及び７４８において標的部位７００のフォーカスを維持する。

上記手順２５００は、外科処置が実行される前及び／又はオペレータにより要求されると、較正において実行し得る。一例の手順２５００はまた、術前顕微鏡外科画像及び／又は外科ガイダンスグラフィックスとの画像見当合わせ前、実行することもできる。さらに、一例の手順２５００は、立体視覚化カメラ３００の動作中、リアルタイムで自動的に実行し得る。

１．一例のテンプレートマッチング
幾つかの実施形態では、情報プロセッサモジュール１４０８の一例のプロセッサ１５６２は、１つ又は複数のテンプレートと併せてプログラム１５６０を使用して、右ＺＲＰ及び／又は左ＺＲＰの位置を特定するように構成される。図２８は、プロセッサ１５６２が標的テンプレート２８０２をいかに使用して、左ＺＲＰの位置を特定するかを示す図を示す。この例では、図２８は、原点２８０４又は左画像センサ７４８の左ピクセルグリッド１００４の中心と位置合わせされたテンプレート２８０２を含む第１の左画像を示す。テンプレート２８０２は、立体視覚化カメラ３００を適切な位置に移動させることにより位置合わせし得る。代替的には、テンプレート２８０２は、位置合わせされるまで標的部位７００において移動し得る。他の例では、テンプレート２８０２は、ピクセルグリッド１００４の中心との位置合わせが必要ない別のパターンを含み得る。例えば、テンプレートは、グラフィカル波形パターン、グラフィカル呼吸計パターン、患者の術部のビュー、及び／又はｘ方向及びｙ方向の両方で幾らかの程度の非周期性を有する視覚的に区別可能な特徴を有するグリッドを含み得る。テンプレートは、周期性がある画像のサブセットが、複数の位置においてより大きな画像に完全に位置合わせされないようにするよう構成され、周期性がある画像のサブセットが、複数の位置においてより大きな画像に完全に位置合わせされることは、そのようなテンプレートをマッチングに不適なものにする。テンプレートマッチングに適するテンプレート画像は、「テンプレートマッチング可能」テンプレート画像として知られる。

図２８に示されるテンプレート２８０２は、第１の倍率レベルで撮像される。左ＺＲＰ２８０６はテンプレート２８０２に関して示される。ＺＲＰ２８０６は、原点２８０４に関してＬ_ｘ、Ｌ_ｙの座標を有する。しかしながら、この時点で、プロセッサ１５６２はまだ左ＺＲＰ２８０６を識別していない。

ＺＲＰ２８０６を見つけるために、プロセッサ１５６２は、左ズームレンズ（例えば、左前部ズームレンズ７２８及び／又は左後部ズームレンズ７３４）に倍率を第１の倍率レベルから第２の倍率レベルに、特にこの例では、１Ｘから２Ｘに変更させる。図２９は、倍率レベルが２倍になったピクセルグリッド１００４上の標的２８０２を含む第２の左画像の図を示す。第１の倍率レベルから第２の倍率レベルに、標的２８０２の部分はサイズを増大させ、左ＺＲＰ２８０６から離れて均一に拡大し、左ＺＲＰ２８０６は第１及び第２の画像に関して静止したままである。加えて、ピクセルグリッド１００４の原点２８０４と左ＺＲＰ２８０６との間の距離は同じままである。

一例のプロセッサ１５６２は、図２９に示される第２の画像からデジタルテンプレート画像３０００を同期する。デジタルテンプレート画像を作成するために、プロセッサ１５６２は、図２９に示される第２の画像をコピーし、第１の倍率から第２の倍率への倍率変更の往復により、コピー画像をスケーリングする。例えば、第１の画像から第２の画像への倍率変更が、２倍であった場合、第２の画像は１／２にスケーリングされる。図３０は、テンプレート２８０２を含むデジタルテンプレート画像３０００の図を示す。図３０のデジタルテンプレート画像３０００におけるテンプレート２８０２は、図２８に示される第１の左画像におけるテンプレート２８０２と同じサイズにスケーリングされる。

一例のプロセッサ１５６２は、デジタルテンプレート画像３０００を使用して、左ＺＲＰ２８０６を見つける。図３１は、ピクセルグリッド１００４に記録された第１の左画像（又は第１の倍率レベルで記録された続く左画像）の上に重ねられたデジタルテンプレート画像３０００を示す図を示す。第１の左画像とのデジタルテンプレート画像３０００の組み合わせは、図３１に示されるように、結果ビューを生成する。まず、デジタルテンプレート画像３０００はピクセルグリッド１００４の原点２８０４にセンタリングされる。

一例のプロセッサ１５６２は、デジタルテンプレート画像３０００を下のテンプレート２８０２と比較して、位置合わせされたか、又は一致したか否かを判断する。次に、一例のプロセッサ１５６２は、デジタルテンプレート画像３０００を１つ又は複数のピクセル分、水平又は垂直に移動させ、別の比較を実行する。プロセッサ１５６２はデジタルテンプレート画像３０００を繰り返し移動させ、デジタルテンプレート画像３０００が下のテンプレート２８０２にいかに密に一致するかに関する各位置でのメトリックのマトリックスを編纂する。プロセッサ１５６２は、最良に一致するメトリックに対応するマトリックス内の位置を選択する。幾つかの例では、プロセッサ１５６２はＯｐｅｎＣＶ（登録商標）Ｔｅｍｐｌａｔｅ Ｍａｔｃｈ機能を使用する。

図３２は、テンプレート２８０２と位置合わせされたデジタルテンプレート画像３０００を有する図を示す。最適なマッチングを達成するためにデジタルテンプレート画像３０００が移動した距離は、Δｘ及びΔｙとして示される。デジタルテンプレート画像３０００がＭ１／Ｍ２（第１の倍率レベルを第２の倍率レベルで除算したもの）のスケールで合成されたことを知り、プロセッサ１５６２は、以下の式（１）及び（２）を使用して左ＺＲＰ２８０６の座標（Ｌ_ｘ，Ｌ_ｙ）を特定する。
Ｌｘ＝Δｘ／（Ｍ１／Ｍ２）−式（１）
Ｌｙ＝Δｙ／（Ｍ１／Ｍ２）−式（２）

左ＺＲＰ２８０６の座標（Ｌ_ｘ，Ｌ_ｙ）が特定された後、一例のプロセッサ１５６２は、図２５及び図２６の手順２５００と併せて上述したように、左ＺＲＰ２８０６と位置合わせ又は一致する原点を有するピクセルサブセットを選択又は特定する。幾つかの実施形態では、プロセッサ１５６２は、テンプレートマッチングを繰り返し使用して、より高精度のＺＲＰ位置及び／又はピクセルサブセットに収束し得る。さらに、上記例は左ＺＲＰの発見について考察したが、同じテンプレートマッチング手順を使用して、右ＺＲＰを見つけることができる。

幾つかの実施形態では、上記テンプレートマッチングプログラム１５６０は、左右の画像の位置合わせに使用し得る。これらの実施形態では、左右の画像は、倍率レベルで記録される。両画像は、例えば、図２８の標的テンプレート２８０２を含み得る。右画像の一部は選択され、左画像に重ねられる。次に、右画像の部分は、１つ又は複数のピクセル分、水平及び／又は垂直に左画像の前後でシフトされる。一例のプロセッサ１５６２は、右画像の部分の各位置において比較を実行して、左画像とどの程度密な一致があるかを判断する。最適位置が特定されると、右画像が一般に左画像と一致するような、右ピクセルグリッド１００２のピクセルセット１００６が特定される。左画像と一致するように、ピクセルセット１００６の位置は、右画像の部分をどれくらい移動したかに基づいて特定し得る。特に、プロセッサ１５６２は、ｘ方向、ｙ方向、及び／又はチルト方向における移動量を使用して、右ピクセルセット１００６の対応する座標を特定する。

２．一例の左右画像の位置合わせ
幾つかの実施形態では、図１４〜図１６の情報プロセッサモジュール１４０８の一例のプロセッサ１５６２は、ディスプレイモニタ５１２及び／又は５１４に左右の画像のオーバーレイを表示する。プロセッサ１５６２は、左右の画像を位置合わせするためにユーザフィードバックを受信するように構成される。この例では、左右の画像の各ピクセルデータは、例えば、グラフィックス処理ユニット１５６４を使用してディスプレイモニタ５１２の各ピクセルに精密にマッピングされる。重ねられた左右の画像の表示により、いかなる疑似視差もオペレータに容易に明らかになる。一般に、疑似視差がない場合、左右の画像は略厳密に位置合わせされるべきである。

オペレータは、疑似視差を検出する場合、制御機構３０５又はユーザ入力デバイス１４１０を作動させて、左右の画像のいずれかを移動させ、左右の画像の他方と位置合わせし得る。制御機構３０５からの命令は、後続画像がオペレータ入力を反映してディスプレイモニタ５１２に表示されるように、プロセッサ１５６２に、左右のピクセルセットの位置をリアルタイムでそれに従って調整させ得る。他の例では、命令は、プロセッサ１５６２に、半径方向調整、回転方向調整、軸方向調整、又はチルトを介して光学要素１４０２の１つ又は複数の位置を変更させ得る。オペレータは、左右の画像が位置合わせされるまで、制御機構３０５及び／又はユーザ入力デバイス１４１０を介して入力を提供し続ける。確認命令を受信すると、プロセッサ１５６２は、設定された倍率レベルでの画像位置合わせを反映した較正点をルックアップテーブルに記憶する。

追加又は代替として、上述したテンプレートマッチング法を使用して、立体視覚化カメラ３００の立体光軸に概ね直交する平坦標的にフォーカスしながら、画像位置合わせを提供し得る。さらに、テンプレートマッチング法を使用して、「テンプレートマッチング可能」なシーンが左右の光路のビューにある場合は常に、左右のビューをリアルタイムで位置合わせし得る。一例では、テンプレート画像は、例えば、左ビューのサブセットからコピーされ、ビューの中心又はその近傍にセンタリングされる。ピントが合った画像の中心からのサンプリングにより、標的部位７００の同様のビューが他方のビュー（この例では右ビュー）に提示されることが保証される。ピンボケ画像の場合、本実施形態での、オートフォーカス動作の成功後のみ、この位置合わせ方法が実行されるようなことは当てはまらない。次に、選択されたテンプレートは他のビュー（この例では右ビュー）の現在ビュー（又はそのコピー）においてマッチングされ、ｙ軸のみが結果からとられる。ビューが垂直に位置合わせされると、テンプレートマッチのｙ値はゼロピクセル又はその近傍にある。非ゼロｙ値は、２つのビュー間の垂直位置合わせずれを示し、同じ値のｙを使用した補正が適用されて、第１のビューのピクセル読み出しセットを選択するか、又は負の値のｙを使用した補正が他のビューのピクセル読み出しセットに適用される。代替的には、補正は、視覚化パイプラインの他の部分に適用することができ、又はピクセル読み出しセットと上記パイプラインとの間で分割することができる。

幾つかの例では、オペレータは、右ＺＲＰをピクセルグリッド１００２の原点と手動で位置合わせすることもできる。例えば、右ＺＲＰの位置を特定した後、プロセッサ１５６２（及び／又は周辺入力ユニットインターフェース１５７４又はグラフィックス処理ユニット１５６４）は、右ＺＲＰをディスプレイモニタ５１２により表示される右画像においてグラフィカルに強調表示させる。プロセッサ１５６２はまた、ピクセルグリッド１００２の原点を示すグラフィックを表示することもできる。オペレータは制御機構３０５及び／又はユーザ入力デバイス１４１０を使用して、右ＺＲＰを原点に進ませる。プロセッサ１５６２は、制御機構３０５及び／又はユーザ入力デバイス１４１０からの命令を使用して、それに従って光学要素１４０２の１つ又は複数を移動させる。プロセッサ１５６２は、右ＺＲＰの現在位置及び原点をグラフィカルに表示して、オペレータに位置決めに関する更新されたフィードバックを提供することに加えて、右画像ストリームをリアルタイムで提供し得る。オペレータは、右ＺＲＰが位置合わせされるまで、制御機構３０５及び／又はユーザ入力デバイス１４１０を介して入力を提供し続ける。確認命令を受信すると、プロセッサ１５６２は、設定された倍率レベルでの光学要素１４０２の位置を反映した較正点をルックアップテーブルに記憶する。

３．位置合わせ誤差の比較
一例の立体視覚化カメラ３００は、立体カメラを有する既知のデジタル外科用顕微鏡と比較して、左右の画像間でより少ない位置合わせ誤差を生成する。後述する分析は、カメラを有する既知のデジタル外科用顕微鏡のＺＲＰ位置合わせずれにより生成された疑似視と一例の立体視覚化カメラ３００とを比較する。まず、両カメラは第１の倍率レベルに設定され、焦点面は患者の目の第１の位置に位置決めされる。以下の式（３）を使用して、各カメラから目への作業距離（「ＷＤ」）を特定する。
ＷＤ＝（ＩＰＤ／２）／ｔａｎ（α）−式（３）

この式中、ＩＰＤは瞳孔間距離に対応し、約２３ｍｍである。加えて、αは、例えば、右光学画像センサ７４６と左光学画像センサ７４８との間の角度の半分であり、この例では２．５０°である。集束角はこの角度の２倍であり、この例では５°である。その結果としての作業距離は２６３．３９ｍｍである。

カメラは第２の倍率レベルにズームインされ、患者の目の第２の位置において三角測量で測定される。この例では、第２の位置は、第１の位置とカメラから同じ物理的距離にあるが、第２の倍率レベルで提示される。倍率変更は、センサピクセルグリッドの中心へのＺＲＰの一方又は両方の位置合わせずれに起因して水平疑似視差を生じさせる。既知のカメラシステムでは、疑似視差は、例えば、３分であると特定され、これは０．０５°に対応する。上記式（３）中、０．０５°値がαに追加され、これは作業距離２５８．２２ｍｍを生成する。作業距離差は５．１７ｍｍ（２６３．３９ｍｍ−２５８．２２ｍｍ）であり、これは、カメラ付属品を有する既知のデジタル外科用顕微鏡の誤差に対応する。

これとは対照的に、一例の立体視覚化カメラ３００は、ピクセルセット又はグリッドの中心の１ピクセル以内でＺＲＰを自動的に位置合わせすることが可能である。視野角が５°であり、４Ｋディスプレイモニタと併用される４Ｋ画像センサを用いて記録される場合、１ピクセル精度は０．００１２５°（５°／４０００）又は４．５秒に対応する。上記式（３）を使用して、０．００１２５°をαに追加し、それにより、作業距離は２６３．２５ｍｍになる。立体視覚化カメラ３００の作業距離差は０．１４ｍｍ（２６３．３９ｍｍ−２６３．２５ｍｍ）である。既知のデジタル外科用顕微鏡の５．１７ｍｍ誤差と比較した場合、一例の立体視覚化カメラ３００は位置合わせ誤差を９７．５％低減する。

幾つかの実施形態では、立体視覚化カメラ３００は、分解能が高いほど高精度であり得る。上記例では、分解能は５°視野で約４．５秒である。視野２°の８Ｋ超高精細システム（４０００行のそれぞれに８０００個のピクセルを有する）の場合、立体視覚化カメラ３００の分解能は約１秒である。これは、左右のビューのＺＲＰが１ピクセル又は１秒まで位置合わせし得ることを意味する。これは、分オーダの疑似視差を有する既知のデジタル顕微鏡外科システムよりもはるかに精密である。

４．疑似視差の他の原因の低減
上記例は、一例の立体視覚化カメラ３００が、ＺＲＰ及び／又は左右の画像自体の位置合わせずれの結果としての疑似視差をいかに低減するかを考察している。立体視覚化カメラ３００は、疑似視差の他の原因を低減するように構成することもできる。例えば、立体視覚化カメラ３００は、略同じ瞬間に画像を記録するように左右の光学画像センサ７４６及び７４８を同時にクロッキングすることによる動きに起因した疑似視差を低減し得る。

一例の立体視覚化カメラ３００は、左右の光路間の倍率が異なることに起因した疑似視差を低減することもできる。例えば、立体視覚化カメラ３００は、左光路に基づいて倍率レベルを設定し得る。立体視覚化カメラ３００は次に、右画像の倍率が左に合うように自動調整を行い得る。例えば、プロセッサ１５６２は画像データを使用して、例えば、左右の画像に共通する特定の特徴間のピクセル数を測定することにより制御パラメータを計算し得る。次に、プロセッサ１５６２は、デジタルスケーリング、補間ピクセルの挿入、及び／又は無関係ピクセルの削除により左右の画像の倍率レベルを等化し得る。一例のプロセッサ１５６２及び／又はグラフィックス処理ユニット１５６４は、倍率が左画像に一致するように右画像を再レンダリングし得る。追加又は代替として、立体視覚化カメラ３００は、左右の光学要素１４０２の独立調整を含み得る。プロセッサ１５６２は、左右の光学要素１４０２を別個に制御して、同じ倍率を達成し得る。幾つかの例では、プロセッサ１５６２はまず、例えば、左倍率レベルを設定し、次に、右光学要素１４０２を別個に調整して、同じ倍率レベルを達成し得る。

一例の立体視覚化カメラ３００は、フォーカスが異なることに起因する疑似視差を更に低減し得る。一例では、プロセッサ１５６２は、所与の倍率及び／又は作業距離での角光路の最良フォーカスを決定するプログラム１５６０を実行し得る。プロセッサ１５６２はまず、最良分解能ポイントへの光学要素１４０２のフォーカスを実行する。次に、プロセッサ１５６２は、適する非物体平面位置におけるＯＯＦ状況をチェックし、左右の画像のフォーカスを一致させ得る。次に、プロセッサ１５６２は、最良分解能でのフォーカスを再チェックし、左右両方の光学要素１４０２が物体平面上及び物体背面から離れての両方で十分に等しくフォーカスするまで、フォーカスを繰り返し調整する。

一例のプロセッサ１５６２は、左右の画像の一方又は両方のフォーカスに関連する信号をモニタすることにより最適なフォーカスを測定し検証し得る。例えば、左右の画像の「鮮鋭度」信号がグラフィックス処理ユニット１５６４により同時に及び／又は同期して生成される。信号は、フォーカス変更につれて変化し、画像分析プログラム、エッジ検出分析プログラム、パターン強度のフーリエ変換の帯域幅プログラム、及び／又は変調伝達関数（「ＭＴＦ」）測定プログラムから特定し得る。プロセッサ１５６２は、鮮鋭画像を示す最大信号をモニタしながら、光学要素１４０２のフォーカスを調整する。

ＯＯＦ状況を最適化するために、プロセッサ１５６２は、左右両方画像の鮮鋭信号をモニタし得る。フォーカスが物体平面から動き、例えば、左画像に関連する信号が増大するが、右画像に関連する信号が低減する場合、プロセッサ１５６２は、光学要素１４０２がフォーカスからずれて移動していると判断するように構成される。しかしながら、左右両方の画像に関連する信号が比較的高く、概ね等しい場合、プロセッサ１５６２は、光学要素１４０２がフォーカスのために適宜位置決めされていると判断するように構成される。

５．低疑似視差の利点
一例の立体視覚化カメラ３００は、左右の画像間の疑似視差が低い結果として、既知のデジタル外科用顕微鏡よりも優れた幾つかの利点を有する。例えば、略完全に位置合わせされた左右の画像は、外科医に略完全な立体表示を生成し、それにより、目の疲労を低減する。これにより、立体視覚化カメラ３００を面倒な器具ではなく外科医の目の延長として使用することが可能になる。

別の例では、精密に位置合わせされた左右の画像により、術部の正確な測定をデジタル撮影することができる。例えば、適切なサイズのＩＯＬを決定し、正確に移植することができるように、患者の目の水晶体包のサイズを測定し得る。別の場合、赤外線蛍光オーバーレイを融合画像に正確に配置することができるように、動いている血管の動きを測定し得る。ここで、実際の移動速度は一般に、外科医の関心ではないが、オーバーレイ画像の配置及びリアルタイム位置合わせにとって重要である。重ねられた画像の適宜一致したスケール、位置合わせ、及び視点は全て、正確に有用された結合ライブ立体画像及び交互モード画像の提供にとって重要である。

幾つかの例では、プロセッサ１５６２は、オペレータがディスプレイモニタ５１２上で測定パラメータを描画できるようにし得る。プロセッサ１５６２は画面に描画された座標を受信し、それに従ってその座標を立体画像に変換する。プロセッサ１５６２は、ディスプレイモニタ５１２に描画された定規を立体画像に示される倍率レベルにスケーリングすることにより測定値を特定し得る。プロセッサ１５６２により行われる測定には、立体ディスプレイに表示される２つ又は３つの位置のポイント間測定、ポイントツーサーフェス測定、サーフェス特徴付け測定、ボリューム特定測定、速度検証測定、座標変換、機器及び／又は組織追跡等がある。

ＶＩＩ．立体視覚化カメラのロボットシステム例
図５及び図６と併せて考察したように、一例の立体視覚化カメラ３００は、立体視覚化プラットフォーム又は立体視ロボットプラットフォーム５１６の一部として機械的又はロボットアーム５０６に接続し得る。一例のロボットアーム５０６は、１つ又は複数の処置中、オペレータが患者の上及び／又は隣に立体視覚化カメラ３００を位置決め且つ／又は向けられるようにするよう構成される。したがって、ロボットアーム５０６は、オペレータが立体視覚化カメラ３００を標的手術部位の所望の視野（「ＦＯＶ」）に移動できるようにする。外科医は一般的に、画面に表示される画像と外科医のＦＯＶとのより容易な視覚的向き及び対応性を可能にするように、外科医自身のＦＯＶと同様のＦＯＶにカメラを位置決め且つ／又は向けることを好む。本明細書に開示される一例のロボットアーム５０６は、外科医自身のＦＯＶを遮ることなく外科医のＦＯＶと一致又は一貫した位置決めを可能にするように構造的柔軟性及び補助付き制御を提供する。

本明細書に開示される立体視ロボットプラットフォーム５１６とは対照的に、既知の立体顕微鏡保持デバイスは、オペレータにより手動で移動する単純な機構を含む。これらのデバイスは、手動での再位置決めを可能にする電子機械的ブレーキを装備した複数の回転ジョイントを含む。さらに、オペレータがビューを容易且つ処置を邪魔せずに変更できるように、幾つかの既知の保持デバイスは電動ジョイントを有する。電動ジョイントは、例えば、単純なＸ−Ｙ位置決めから、接続された剛性アームを操作する複数の独立した回転ジョイントを備えるデバイスまでの種々のレベルの複雑性を有する。大半の処置中、種々の方向からビューを素早く容易に取得することが望ましい。しかしながら、既知の立体顕微鏡保持デバイスは１つ又は複数の問題を有する。

既知の立体顕微鏡保持デバイスは、一般に画像の所望の側面を見るために顕微鏡を操作する外科医の手動能力により制限される限られた位置、方向、及び／又は向き精度を有する。複数のジョイントを有する保持デバイスは、デバイス操作により通常、全てのジョイントが一度に動くことになるため、特に操作が面倒であり得る。オペレータはしばしば、アームがいかに動くかを見ている。アームが所望のロケーションに位置決めされた後、オペレータは、撮像デバイスのＦＯＶが所望のロケーションに位置合わせされたか否かをチェックする。多くの場合、デバイスが適宜位置合わせされた場合であっても、デバイスのフォーカスを調整する必要がある。更なる既知の立体顕微鏡保持デバイスは、標的手術部位にある他の物体に関して一貫したＦＯＶ又は焦点面を提供することができず、その理由は、処置中に患者が移動し、又はシフトする際、デバイスがアーム位置メモリを有さず、又はメモリが不正確であるためである。

既知の立体顕微鏡保持デバイスは一般に、制御が物体面焦点距離、倍率、及び照明等の顕微鏡パラメータから独立している位置決めシステムを有する。これらのデバイスでは、位置決め、例えばズームの調整は手動で実行しなければならない。一例では、オペレータは、フォーカスの際又は作業距離変更の際、レンズ限界に達し得る。オペレータは保持デバイスの位置を手動で変更し、次に立体顕微鏡を再フォーカスする必要がある。

既知の立体顕微鏡保持デバイスは、単に手術部位の観測を目的としている。既知のデバイスは、ＦＯＶ内の組織のロケーション又はＦＯＶ内の組織からＦＯＶ外の別の物体までの距離を特定しない。既知のデバイスはまた、ＭＲＩ画像とライブビューとの結合等の代替のビューイングモダリティを形成するための組織とライブ手術部位内の他の物体との比較も提供しない。代わりに、既知のデバイスからのビューは別個に表示され、他の医療画像又はテンプレートから位置合わせされない。

さらに、既知の立体顕微鏡保持デバイスは、観測を除き、精密さにあまり重きを置かないため、正確ではないことがあるパラメータを有する。ＩＳＯ規格１０９３６−１：２０００（Ｅ）「Ｏｐｔｉｃｓ ａｎｄ ｏｐｔｉｃａｌ ｉｎｓｔｒｕｍｅｎｔｓ−Ｏｐｅｒａｔｉｏｎ ｍｉｃｒｏｓｃｏｐｅｓ−Ｐａｒｔ １：Ｒｅｑｕｉｒｅｍｅｎｔｓ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄｓ」における要件は大方、通常の人間であるオペレータが接眼レンズを使用して妥当な立体光学画像を達成するために導き出されたものである。オペレータの脳は、複数のビューを結合して頭の中で画像を生成し、立体視を達成する。ビューは一般に、他の方法では一緒に結合又は比較されない。オペレータが許容可能な画像を見、頭痛等の有害な影響を受けない限り、オペレータのニーズは満たされてきた。同じ事が、幾らかの不安定性、アームの垂れ下がり、及び不正確な移動制御が許されている立体顕微鏡保持デバイスに対しても言える。しかしながら、高分解能デジタルカメラが既知のデバイスと併用される場合、構造的不正確性は容易に観測可能であり、特に顕微鏡外科処置の場合、有用性が損なわれ得る。

上述したように、既知の立体顕微鏡保持デバイスは、カメラの重さに起因して垂れ下がり得る。一般に、既知のロボット位置決めシステムは較正されて、システム自体のみでの遵守性又は不正確性を特定する。立体顕微鏡保持デバイスは、カメラ又はカメラマウントと保持デバイスとの間のいかなる不正確性も考慮に入れない。垂れ下がりは一般に、画像をディスプレイで観測しながら、オペレータがカメラを手動で位置決めすることにより補償される。電動の動きを提供するシステムでは、例えば、軸の回りの復元トルクモーメントの方向が逆になる、カメラの重力中心（「ＣＧ」）がアームジョイントの回転軸の逆側に再位置決めされた場合、垂れ下がりの変化が生じる。続けて、カメラの位置、方向、及び／又は向きを調整することによりオペレータにより補償される機構におけるいかなる遵守又は垂れ下がりも、位置、方向、及び／又は向きの誤差を増大させる。幾つかの場合、例えば、カメラがロボット特異点を通って移動する場合、モーメント反転が素早く生じ、その結果として生成されるカメラ画像の誤差は素早く過度にシフトする。そのような誤差は、例えば、部位内の組織又は機器を正確に追従又は追跡する既知の立体顕微鏡保持デバイスの能力を制限する。

既知の立体顕微鏡保持デバイスは、手術危機を空間的に位置特定して追跡し、続けてそれらの代表的な表示をモニタに提供する特徴を含む。しかしながら、これらの既知のシステムでは、目立って配置される立体位置特定カメラ又は三角測量デバイス及び機器に目立つ基準デバイスが必要とされる。デバイスの追加は、複雑性、コスト、及び操作の目障りを増大させる。

本明細書に開示される一例の立体視ロボットプラットフォーム５１６は、機械的又はロボットアーム５０６に接続された一例の立体視覚化カメラ３００を含む。図５及び図６は、一例の立体視ロボットプラットフォーム５１６を示す。カメラ３００により記録された立体画像は、１つ又は複数のディスプレイモニタ５１２、５１４を介して表示される。ロボットアーム５０６はカート５１０に機械的に接続され、カート５１０はまた、ディスプレイモニタ５１２、５１４の１つ又は複数を支持し得る。ロボットアームは、例えば、サイズ、性質、機能、及び動作が一般に人間に類似した連結式ロボットアームを含み得る。

図３３は、本開示の実施形態例による、図５の顕微鏡手術環境５００の側面図を示す。図示の例では、ディスプレイモニタ５１２は、１つ又は複数のジョイントを有して柔軟な位置決めを可能にする機械的アーム３３０２を介してカート５１０に接続し得る。幾つかの実施形態では、機械的アーム３３０２は、術中、患者にわたって延びて、外科医の比較的接近したビューを提供するのに十分な長さであり得る。

図３３はまた、立体視覚化カメラ３００及びロボットアーム５０６を含め、立体視ロボットプラットフォーム５１６の側面図も示す。カメラ３００は、結合板３３０４を介してロボットアーム５０６に機械的に結合される。幾つかの実施形態では、結合板３３０４は、カメラ３００の更なる程度の位置決め及び又は向きを提供する１つ又は複数のジョイントを含み得る。幾つかの実施形態では、結合板３３０４は、オペレータにより手動で移動又は回転される必要がある。例えば、結合板３３０４は、カメラ３００をｚ軸に沿って光軸を有すること（すなわち、患者に向かって下方を指す）とｘ軸又はｙ軸に沿った光軸を有すること（すなわち、患者に向かって側方を指す）との間で素早く位置決めできるようにするジョイントを有し得る。

一例の結合板３３０４は、カメラ３００を移動させるためにオペレータにより付与された力及び／又はトルクを検出するように構成されたセンサ３３０６を含み得る。幾つかの実施形態では、オペレータは、制御アーム３０４ａ及び３０４ｂ（図３に示される）を握ることによりカメラ３００を位置決めし得る。オペレータが制御アーム３０４ａ及び３０４ｂを掴んだ後、ユーザは、ロボットアーム３０６からの補助を用いてカメラ３００を位置決め且つ／又は向け得る。センサ３３０６は、オペレータにより提供される力ベクトル又はトルク角度を検出する。本明細書に開示される一例のプラットフォーム５１６は、検知された力／トルクを使用して、オペレータにより提供される力／トルクに対応するカメラ３００の補助付き移動を提供するために、ロボットアーム５０６のどのジョイントを回転させるべきか（及びジョイントをいかに素早く回転させるべきか）を判断する。センサ３３０６は、結合板３３０４とカメラ３００との間のインターフェースに配置されて、制御アーム３０４を介してオペレータにより付与された力及び／又はトルクを検出し得る。

幾つかの実施形態では、センサ３３０６は、例えば、自由度６の触力覚検知モジュールを含み得る。これらの実施形態では、センサ３３０６は、ｘ軸、ｙ軸、及びｚ軸での並進力又は並進運動を検出し得る。センサ３３０６はまた、ヨー軸、ピッチ軸、及びロール軸の回りの回転力又は回転運動を別個に検出することもできる。並進力と回転力との切り離しにより、立体視ロボットプラットフォーム５１６はロボットアーム５０６を制御するための順運動学及び／又は逆運動学をより容易に計算できるようになり得る。

ロボットアーム５０６はユーザ単独では移動可能ではないことがあるため、一例のセンサ３３０６は力を検出するように構成し得る。代わりに、センサ３３０６は、ユーザにより適用された並進力及び回転力を検出し、これらは、ロボットアーム５０６の補助付き移動制御を提供するのにどのジョイントを回転させるかを判断するために立体視ロボットプラットフォーム５１６により使用される。他の例では、ロボットアーム５０６は、補助なし又は少なくとも初期補助なしでのオペレータによる移動を可能にし得る。これらの他の例では、センサ３３０６は、ユーザにより付与された運動を検出し、これは、１つ又は複数のジョイントを続けて回転させ、それにより補助付き移動を提供するために立体視ロボットプラットフォーム５１６により使用される。運動又は運動を生じさせる力の初期検出から立体視ロボットプラットフォーム５１６がジョイントを回転させるまでの時間は、２００ミリ秒（「ｍｓ」）未満、１００ｍｓ未満、５０ｍｓ未満、又はわずか１０ｍｓ未満であり得、ユーザはロボットアーム５０６の非補助付き移動の初期時間に気付かない。

一例のセンサ３３０６は、回転力／運動を示すデジタルデータ及び並進力／運動を示すデジタルデータを出力し得る。この例では、デジタルデータは、各軸で検出された力／運動について８ビット、１６ビット、３２ビット、又は６４ビット分解能を有し得る。代替的には、センサ３３０６は、検知された力及び／又は運動に比例するアナログ信号を送信し得る。一例のセンサ３３０６は、例えば、１ｍｓ、５ｍｓ、１０ｍｓ、２０ｍｓ、５０ｍｓ、１００ｍｓ等の定期的なサンプリングレートでデータを送信し得る。代替的には、センサ３３０６は力／運動データの略連続的なストリームを提供し得る。

幾つかの実施形態では、一例のセンサ３３０６は代わりに、制御アーム３０４ａ及び３０４ｂの１つ若しくは複数又は制御アーム３０４ａ及び３０４ｂと筐体３０２との間に配置し得る。制御アーム３０４ａ及び３０４ｂのそれぞれがセンサ３３０６を含む例では、一例の立体視ロボットプラットフォーム５１６は、２組の並進力又は並進運動及び回転力又は回転運動を受信し得る。これらの例では、立体視ロボットプラットフォーム５１６はセンサ３３０６からの値を平均し得る。

図示の実施形態では、ロボットアーム５０６の第１の端部はカート５１０に搭載され、一方、ロボットアームの第２の逆端部は、立体視覚化カメラ３００（例えば、ロボット端部エフェクタ）に機械的に接続される。図３３は、プラットフォーム５１６の残りの部分を外科医の邪魔にならないロケーションに維持しながら、立体視覚化カメラ３００を手術部位の上方に位置決めする等、延長位置に立体視覚化カメラ３００を保持するロボットアーム５０６を示す。カート５１０は、立体視ロボットプラットフォーム５１６をしっかりと保持するように構成され、規定の動作位置で倒れないような重量を有しバランスがとられる。

一例の立体視ロボットプラットフォーム５１６は以下の利点を提供するように構成される。

１．視覚化の強化。ロボットアーム５０６と立体視覚化カメラ３００との間の通信により、プラットフォーム５１６は、手術部位を素早くより正確に視覚化するようにカメラ３００を向け操縦することができる。例えば、ロボットアーム５０６は、カメラ３００を光軸に沿って移動させて、単にカメラ内に含まれる場合を超えてフォーカス及びズームの範囲を拡張することができる。プラットフォーム５１６の比較的小さなサイズにより、より多種多様な外科処置及び向きでＨｅａｄｓ−Ｕｐ Ｓｕｒｇｅｒｙ（登録商標）を提供し、それにより、手術効率及び外科医エルゴノミクスを改善する。

２．次元性能の強化。立体画像内の全ての点の正確な測定機能を有する一例の立体視覚化カメラ３００は、測定情報をロボットアーム５０６に通信するように構成される。そしてロボットアーム５０６は、正確な位置、方向、及び／又は向き特定機能を有し、画像内及び画像間の次元を立体視ロボットプラットフォーム５１６及び患者の解剖学的構造に共通する座標系に関して正確に変換することができるようにカメラ３００に見当合わせされる。

３．立体視覚化カメラ３００からの立体画像の品質及び正確性により、種々のモダリティの外部ソースからの画像又は診断データと結合して、融合画像を構築することができる。そのような融合画像は、処置をより正確且つ効率的に実行し、よりよい患者結果を達成するために外科医により使用することができる。

４．立体視覚化カメラ３００、ロボットアーム５０６、及び／又は画像及び運動プロセッサ（例えば、図１４のプロセッサ１４０８）は、有利な処置適用に向けてプログラムすることができる。例えば、特定の視覚化部位位置、方向、及び／又は向きを保存し、後に処置に戻すことができる。例えば、組織の特定の長さ又はラインを辿るように精密な移動路をプログラムすることができる。他の例では、予めプログラムされたウェイポイントを設定することができ、それにより、オペレータが、医療処置中、どのステップが実行されているかに基づいてロボットアーム５０６の位置及び／又は向きを変更できるようにする。

５．立体視ロボットプラットフォーム５１６は、正確な画像位置情報の使用及び分析により本質的にガイドされる手術を提供する。そのようなガイダンスは、外科処置の少なくとも部分を実行する別のロボットシステム等の他のデバイスに通信することができる。そのような他のデバイスの構成要素と機能を共有する立体視ロボットプラットフォーム５１６の構成要素はパッケージに一緒に統合し得、性能の効率、正確性、及びコストを達成し得る。

Ａ．ロボットアーム実施形態
図３４は、本開示の実施形態例による一例のロボットアーム５０６の実施形態を示す。幾つかの実施形態では、ロボットアーム５０６は、Ｕｎｉｖｅｒｓａｌ Ｒｏｂｏｔｓ Ｓ／ＡからのモデルＵＲ５と同様であるか、又はモデルＵＲ５を含む。ロボットアーム５０６の外面はアルミニウム及びプラスチック材料を含み、手術室での使用に関して互換性を有し、容易に清掃される。

ロボットアーム５０６は電子機械的なものとして本明細書に説明されるが、他の例では、ロボットアーム５０６は機械的、油圧的、又は空気圧的であり得る。幾つかの実施形態では、ロボットアーム５０６は、例えば、制御弁を有する真空チャックを使用してカメラ３００を保持し操作する混合作動機構を有し得る。さらに、ロボットアーム５０６は、特定の数のジョイント及びリンクを含むものとして以下に説明されるが、ロボットアーム５０６が任意の数のジョイント、任意の長さのリンクを含み得、且つ／又は任意のタイプのジョイント又はセンサを含み得ることを理解されたい。

本明細書に記載されるように、患者の任意の外科処置で３Ｄ立体表示をオペレータに提供しながら、術野の制限のないビューを提供するように、ロボットアーム５０６は配置され、ジョイントは向けられる。重要性の低い運動でのロボットアーム５０６の運動は、オペレータにとって好都合であるのに十分高速であるが、それでも安全であるように提供される。ロボットアーム５０６の移動は、術中、細かく正確であるように制御される。加えて、ロボットアームの移動は、外科処置に必要とされる運動の全範囲を通してスムーズで予測可能であるように制御される。本明細書に記載されるように、ロボットアーム５０６の移動は、遠隔制御により又はアーム自体の手動操作を介して制御可能である。幾つかの実施形態では、ロボットアーム５０６は、最小の力で（例えば、補助付きガイダンス特徴を介して）、例えば小指１本だけを用いて位置決め可能であるように構成される。

幾つかの実施形態では、ロボットアーム５０６は、ジョイントに機械的又は電子的ロックブレーキを含み得る。オペレータにより設定された後、カメラ３００の、一般にロケーション及び方向である目的又は「姿勢」ると、ブレーキを係合し得る。ロボットアーム５０６は、望ましくない手動又は非意図的な運動を回避するために、ロック若しくはアンロックスイッチ又は他の入力デバイスを含み得る。ロックされている場合、一例のロボットアームは、立体視覚化カメラ３００が安定したクリアな画像を提供できるようにするのに十分な安定性を提供する。ロボットアーム５０６は追加又は代替として、立体視覚化カメラ３００の新しい姿勢への移動に続く振動を吸収又は減衰させる１つ又は複数の減衰デバイスを含み得る。減衰デバイスは、例えば、流体充填線形又は回転抑制装置、ゴムベースの防振搭載抑制装置、及び／又は同調質量ばね抑制装置を含み得る。代替又は追加として、アーム５０６は、例えば、比例積分導関数（「ＰＩＤ」）サーボシステムの使用を通した電子機械的減衰を含み得る。

一例のロボットアーム５０６には、１つ又は複数のリンクが移送及び格納のために戻る格納位置を構成し得る。格納位置は、ロボットアームを簡潔なフットプリントで移送且つ格納できるようにし、それでもなお、幾つかの外科処置で必要とされる長いリーチで展開できるようにする。立体視覚化カメラ３００の配線等のケーブルはロボットアーム５０６に沿って提供されて、外科処置への干渉を回避する。

図３４に示される実施形態では、ロボットアーム５０６は、Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、及びＲ６と記される６つのジョイントを含む。他の実施形態では、ロボットアーム５０６はより少数又は追加のジョイントを含み得る。さらに、幾つかの実施形態では、ジョイントＲ１〜Ｒ６の少なくとも幾つかは＋／−３６０°の回転運動機能を有する。回転運動は、各ジョイントについて、１つ又は複数のアンチバックラッシュジョイントギアボックスを通して機械的回転ジョイントを駆動するように構成された電気モータを含む電子機械的サブシステムにより提供し得る。ジョイントＲ１〜Ｒ６のそれぞれは、ジョイント位置を検出する１つ又は複数の回転センサを含み得る。さらに、各ジョイントはスリップクラッチ及び／又は電子機械的ブレーキを含み得る。

ジョイントＲ１〜Ｒ６のそれぞれは、１ミリメートル（「ｍｍ」）の約＋／−１／１０の運動の全体再現性を有し得る（カメラ３００が取り付けられた状態で）。ジョイントは、毎秒０．５°〜１８０°に制御することができる可変回転速度を有しであり得る。これは一緒に、毎秒１ｍｍ〜毎秒１ｍのカメラ移動に置き換えられる。幾つかの実施形態では、立体視ロボットプラットフォーム５１６は、外科処置中、所定位置にあるジョイントＲ１〜Ｒ６の１つ又は複数の速度ガバナーを有し得る。ジョイントＲ１〜Ｒ６のそれぞれは、電源及び／又はロボットアーム５０６のコントローラ内のコマンド線に電気的に接続し得る。電力及びコマンド信号のワイヤは、ジョイント及びリンク内部で配線し得る。さらに、ジョイントの１つ又は複数は、リンクに接続するためのＯリング等の抑制装置を含み得る。抑制装置は、例えば、ロボットアーム５０６における振動、カート５１０からの振動、及び／又は立体視覚化カメラ３００を介して付与される振動を低減又は吸収し得る。

ジョイントＲ１は、フランジ３４０２に機械的に結合されるベースジョイントを含み、フランジ３４０２は静止構造３４０４に固定される。フランジ３４０２は任意のタイプの機械的コネクタを含み得る。静止構造３４０４は、例えば、図５のカート５１０、壁、天井、テーブル等を含み得る。ジョイントＲ１は、ｚ軸を含み得る第１の軸３４１０の回りを回転するように構成される。

ジョイントＲ１は、リンク３４３０を介してジョイントＲ２に接続される。一例のリンク３４３０は、ロボットアーム５０６の下流セクションに構造的支持を提供するように構成された円筒体又は他の管状構造を含む。リンク３４３０は、ジョイントＲ２との回転固定接続を提供して、リンク３４３０がジョイントＲへの接続により所定位置に保持されている間、ジョイントＲ２を回転できるようにするよう構成される。ジョイントＲ２は、例えば、軸３４１２の回りを回転するように構成されたショルダジョイントを含み得る。一例の軸３４１２は、軸３４１０に垂直（又は略垂直）であるように構成される。軸３４１２は、ｚ軸の回りのジョイントＲ１の回転を所与として、ｘ−ｙ平面内にあるように構成される。

ジョイントＲ２は、リンク３４３２を介してジョイントＲ３に機械的に結合される。リンク３４３２は、リンク３４３０よりも長い長さを有するように構成され、ロボットアーム５０６の下流部分に構造的支持を提供するように構成される。ジョイントＲ３は、例えば、エルボジョイントを含み得る。ジョイントＲ２と一緒に、ジョイントＲ３は、ロボットアーム５０６の拡張可能な位置決め及び／又は向き決めを提供する。ジョイントＲ３は、軸３４１４の回りを回転するように構成され、軸３４１４は軸３４１０に垂直又は直交し、軸３４１２に平行する。

ジョイントＲ３はリンク３４３４を介してジョイントＲ４に接続され、リンク３４３４はロボットアーム５０６の下流部分に構造的支持を提供する。一例のジョイントＲ４は、例えば、軸３４１６の回りの回転を提供するように構成された第１のリストジョイントであり得、軸３４１６は軸３４１２及び３４１４に直交し得る。ジョイントＲ４はリンク３４３６を介してジョイントＲ５に機械的に接続される。ジョイントＲ５は、軸３４１６に直交する軸３４１８の回りの回転を提供するよう構成された第２のリストジョイントであり得る。ジョイントＲ５はリンク３４３８を介してジョイントＲ６に機械的に接続される。ジョイントＲ６は、軸３４１８に直交する軸３４２０の回りで回転するように構成された第３のリストジョイントであり得る。リストジョイントＲ４〜Ｒ６は一緒に、本明細書に記載される立体視覚化カメラ３００を位置決めするに当たり精密な柔軟性を提供する。

一例のロボットアーム５０６はコネクタ３４５０を含む。一例のコネクタ３４５０はリンク３４４０を介してジョイントＲ６に接続される。幾つかの実施形態では、一例のリンク３４４０は、ジョイントＲ６がコネクタ３４５０を回転できるようにするスリーブを含み得る。本明細書に考察するように、コネクタ３４５０は、結合板３３０４又は結合板が使用されない場合には立体視覚化カメラ３００に直接、機械的に結合するように構成し得る。コネクタ３４５０は、ロボットアーム５０６を結合板３３０４及び／又は立体視覚化カメラ３００に固定する１つ又は複数のねじを含み得る。

幾つかの実施形態では、示される例のロボットアーム５０６は、人間の腕と大凡同様の向きで最大リーチ８５ｍｍを有し得る。アーム５０６は積載量５キログラムを有し得る。さらに、アーム５０６は、人間の近傍で安全な動作を可能にする「協働」デバイスとして構成し得る。例えば、ロボットアーム５０６が外面に対して及ぼすことができる最大力は制御される。万が一、ロボットアームの一部が別の物体に不意に接触した場合、衝突が検出され、運動は瞬時に停止する。例えば、停電という緊急停止状況中、ジョイントＲ１〜Ｒ６は、バックドライブすることができ、又はオペレータがロボットシステムの部分を掴み、邪魔にならない所にスイングするように手動で回転することができる。例えば、ジョイント内のスリップクランチは、動作中、ジョイントモータがアーム５０６に回転適用することができる最大トルクを制限する。電源がオフになると、手動操作される場合、ジョイントのスリップクラッチはスリップして、オペレータがロボットアーム５０６を邪魔にならない所に素早く移動させられるようにする。

図３５〜図４０は、本開示の実施形態例による、ロボットアーム５０６及び立体視覚化カメラ３００の構成例を示す。図３５は、フランジ３４０２を介してカート５１０に接続されたロボットアーム５０６の図を示す。この例では、立体視覚化カメラ３００はコネクタ３５４０に直接接続される。この実施形態では、コネクタ３５４０及び／又は立体視覚化カメラ３００は、オペレータにより立体視覚化カメラ３００に付与された並進及び／又は回転の力／運動を検知する図３３のセンサ３３０６を含み得る。コネクタ３５４０がセンサ３３０６を含む場合、力／運動出力データはロボットアーム５０６を介してコントローラに送信し得る。例えば、センサ３３０６が立体視覚化カメラ３００に配置される場合、出力データは制御データと共に別個のコントローラに送信し得る。幾つかの実施形態では、コントローラはカート５１０内に提供されてもよく、又はサーバに別個に提供されてもよい。

図３６は、ロボットアーム５０６がフランジ３４０２を介して天井板３４０４に搭載される実施形態を示す。ロボットアームは、手術室の天井から懸架されて、床空間の混雑を低減し得る。ロボットアーム５０６は、ジョイントを含め、上方に位置決めされ、手術活動が実行されるエリアから、外科医及び手術室スタッフの邪魔にならない所にトラバースすることができ、ディスプレイモニタ５１２及び５１４のクリアビューを提供しながら、それでもなおカメラ３００の機能的な位置決め及び／又は向き決めを提供する。

図３７は結合板３３０４の実施形態を示す。図示の例では、結合板３３０４の第１の端部３７０２はロボットアーム５０６のコネクタ３４５０に接続される。結合板３３０４の第２の端部３７０４は立体視覚化カメラ３００に接続される。一例の結合板３３０４は、立体視覚化カメラ３００を移動させる追加の自由度を提供するように構成される。結合板３３０４はまた、ロボットアーム５０６の最大リーチを拡張する。結合板３３０４は１０ｃｍ〜１００ｃｍの長さを有し得る。

結合板３３０４は１つ又は複数のジョイントを含み得る。図示の例では、結合板３３０４はジョイントＲ７、Ｒ８、及びＲ９を含む。一例のジョイントは、各軸の回りの回転を提供する機械的ジョイントである。ジョイントＲ７〜Ｒ９は、オペレータがリリースボタン又はレバーを作動させた後、移動可能な回転可能ラッチ機構を含み得る。各ジョイントＲ７〜Ｒ９は、それ自体のリリースボタンを有してもよく、又は１つのボタンがジョイントＲ７〜Ｒ９のそれぞれをリリースしてもよい。

ジョイントＲ７〜Ｒ９は、各リンクを介して一緒に接続し得る。加えて、リンク３７１８は、ロボットアーム５０６のコネクタ３４５０への接続を提供する。ジョイントＲ７は軸３７１０の回りを回転するように構成され、一方、ジョイントＲ８は軸３７１２の回りを回転するように構成され、ジョイントＲ９は軸３７１４の回りを回転するように構成される。軸３７１０及び３７１４は互いに平行し、軸３７１２に直交する。ジョイントＲ７及びＲ９は、＋／−３６０°回転を提供するように構成し得る。他の例では、ジョイントＲ７及びＲ９は各軸３７１０及び３７１４の回りの＋／−９０°、＋／−１８０°回転、又は＋／−２７０°回転を提供し得る。ジョイントＲ８は、軸３７１２の回りの＋／−９０°回転を提供し得る。幾つかの例では、ジョイントＲ８は＋９０°、０°、及び−９０°のみに設定し得る。

幾つかの実施形態では、ジョイントＲ７〜Ｒ９は、連続移動を提供するモータを含み得る。ジョイントＲ７〜Ｒ９は、回転位置又は示すデータを通信又は提供するスイッチ又は位置センサ等の制御デバイスを含むこともできる。このようにして、ジョイントＲ７〜Ｒ９は、ロボットアーム５０６のジョイントＲ１〜Ｒ６と同様であり得、補助付き移動及びフィードバック制御のための位置検知を提供する。ジョイントＲ７〜Ｒ９の電力及び制御は、ロボットアーム５０６を通して配線されるワイヤ、コネクタ３４５０内の電力／ワイヤコネクタ、及び／又はロボットアーム５０６外部のワイヤを介して提供し得る。

図３７は、光軸３７２０がｚ軸に沿って提供されるように、立体視覚化カメラ３００が水平向きに位置決めされる一例を示す。水平向きは、横たわった患者の撮像に使用し得る。これとは対照的に、図３８は、ジョイントＲ８が９０°回転して、光軸３７２０がｘ軸又はｘ軸に直交するｙ軸に沿って提供されるようにカメラ３００を垂直向きに位置決めする実施形態を示す。垂直向きは、座っている患者の撮像に使用し得る。ジョイントＲ８が立体視覚化カメラ３００を処置に基づいて水平位置と垂直位置との間で素早く向き変更できるようにすることを理解されたい。

図３６及び図３７に示される例では、一例のセンサ３３０６は、例えば、ロボットアームのコネクタ３４５０（結合板３３０４トの接続）及び／又は結合板の第１の端部３７０２（コネクタ３４５０との接続における）に配置し得る。代替又は追加として、一例のセンサ３３０６は、例えば、結合板の第２の端部３７０４（カメラ３００との接続において）及び／又は結合板３３０４の第２の端部３７０４との接続においてカメラ３００に配置し得る。

図３９及び図４０は、水平向きであり、ジョイントＲ９の軸３７１４の回りを＋９０°回転した立体視覚化カメラ３００を示す。図４０は、水平向きであり、ジョイントＲ９の軸３７１４の回りを−９０°回転した一例の立体視覚化カメラ３００を示す。

図３４〜図４０に示されるように、一例のロボットアーム５０６は、立体視覚化カメラ３００に支持を提供し、カメラの光軸の精密な位置決め及び／又は向き決め及び照準合わせを可能にするように構成される。立体視覚化カメラ３００は接眼レンズを有さず、外科医の目に向けられる必要はないため、従来は実際的ではなかった、その撮像に望ましい多くの位置及び／又は向きを達成し得る。外科医は、接眼レンズへの外科医の向きに最適ではなくむしろ、処置に最適なビューで実行することができる。

一例のロボットアーム５０６は、立体視覚化カメラ３００と併用される場合、外科医が、曲がり角及び容易には見えない他のロケーションを見られるようにする。ロボットアーム５０６はまた、仰向け、俯せ、座位、半座位等を含め、患者を異なる位置に配置できるようにもする。したがって、ロボットアーム５０６は、患者を特定処置に最もよい位置に配置できるようにする。一例のロボットアーム５０６は、立体視覚化カメラ３００と併用される場合、最も妨げのない位置に設置することができる。したがって、アーム５０６及びカメラ３００は、邪魔にならないように好都合に配置され向き決めされながら、見えるロケーション及び向きについて外科医に多くの可能性を提供する。

ロボットアーム５０６及び／又は結合板３３０４のリンク及びジョイントの配置は、一般的に電動化された自由度６（又は９）と共に、リンク及びジョイント構成がカメラの姿勢に対して独特ではない状態で、カメラ３００を所望通りに位置決めできるようにする。より詳細に後述するように、アーム５０６及び／又は板３３０４のジョイント及びリンクは、カメラ３００の姿勢又はＦＯＶを変えずに、手動で再位置決め且つ／又は再向き決めし得る。この構成により、例えば、カメラ３００を通しての手術部位のビューを変えずに、遮蔽視線から出るようにエルボジョイントを移動させることができる。さらに、制御システムは、カメラ３００のロケーション及び姿勢を特定し、例えば、人員又はディスプレイの遮蔽を回避するようにロボットアーム５０６の代替の位置及び／又は向きを計算し表示することができる。表示された画像を反転、転回、又は他の方法で向き変更させる画像プロセッサの能力と共に、結合板３３０４の種々の位置及び／又は向きの使用により、ロボットアーム５０６の更に多くの位置及び／又は向きが可能になる。

ジョイント特異点が任意の一般的な移動で回避されるように、ロボットアーム５０６及び／又は結合板３３０４は一般に配置され、ジョイントは位置決めされる。ジョイント特異点の回避は、ヒステリシス及びバックラッシュのよりよいロボット制御を提供する。さらに、ロボットアーム５０６及び／又は結合板３３０４のリンク及びジョイントの長さ及び構成は、略あらゆる所望の運動パスに沿ったスムーズな移動を提供する。例えば、ロボットアーム５０６の再位置決め及び／又は再向き決めにより、焦点を変えずに手術部位内の標的点のカメラ３００ビューの方向を変えることができ、それにより、外科医が異なる方向／向きから同じ標的点を見られるようにする。別の例では、ロボットアーム５０６は、カメラ３００を視線に沿って標的点に向けて又は標的点から離れて並進させることにより、焦点を変えずに標的点までの作業距離を変更することが可能である。立体視ロボットプラットフォーム５１６の立体視覚化カメラ３００と共にロボットアーム５０６及び／又は結合板３３０４を使用して多くの同様の運動パスを所望通りに達成可能である。

Ｂ．ロボット制御実施形態
図３４〜図４０の一例のロボットアーム５０６及び／又は結合板３３０４は、１つ又は複数のコントローラにより制御し得る。図４１は、本開示の実施形態例による、図３〜図４０の立体視ロボットプラットフォーム５１６の実施形態を示す。一例の立体視ロボットプラットフォーム５１６は、立体視覚化カメラ３００と、図１４及び図１５と併せて説明した対応する画像捕捉モジュール１４０４及びモータ及び照明モジュール１４０６とを含む。

図示の実施形態では、立体視ロボットプラットフォーム５１６は、立体視覚化カメラ３００からリモートに配置されるサーバ又はプロセッサ４１０２を含む。プロセッサ４１０２は、例えば、プロセッサ４１０２により実行されると、プロセッサ４１０２に本明細書に記載される動作を実行させるメモリ１５７０に記憶された命令により定義される１つ又は複数のソフトウェアプログラムが構成されたラップトップコンピュータ、ワークステーション、デスクトップコンピュータ、タブレットコンピュータ、スマートフォン等を含み得る。この例では、一例のプロセッサ４１０２は、図１４〜図１６の情報プロセッサモジュール１４０８、画像センサコントローラ１５０２、及び／又はモータ・照明コントローラ１５２０を含む（又はこれ（ら）に関連して説明された動作を実行する）ように構成される。

幾つかの例では、画像センサコントローラ１５０２及び／又はモータ・照明コントローラ１５２０の動作の少なくとも幾つかは、画像捕捉モジュール１４０４並びにモータ及び照明モジュール１４０６とそれぞれ共有し得る。例えば、プロセッサ４１０２は、フォーカス、倍率、及び／又は作業距離を変更するコマンドを生成し得、モータ・照明コントローラ１５２０の第１の部分並びにモータ及び照明モジュール１４０６内のモータ・照明コントローラ１５２０の第２の部分を介して、駆動装置１５３４〜１５５２を制御する。追加又は代替として、プロセッサ４１０２に動作可能に配置される情報プロセッサモジュール１４０８の第１の部分は、個々の左／右画像及び／又は立体画像を画像捕捉モジュール１４０４内の情報プロセッサモジュール１４０８の第２の部分から受信するように構成される。情報プロセッサモジュール１４０８の第１の部分は、画像をグラフィカルガイドライン／テキスト、ＭＲＩ機、Ｘ線、又は他の撮像デバイスからの画像オーバーレイ、及び／又は蛍光画像と視覚的に融合することを含め、１つ又は複数のディスプレイモニタ５１２及び／又は５１４に表示するように画像を処理するように構成し得る。

プロセッサ４１０２は、ワイヤハーネス４１０２を介して立体視覚化カメラ３００の画像捕捉モジュール１４０４並びにモータ及び照明モジュール１４０６に電気的且つ／又は通信可能に結合される。幾つかの実施形態では、ワイヤハーネス４１０２は、ロボットアーム内部にあってもよく、又はロボットアームを通して配線されてもよい。他の実施形態では、ワイヤハーネス４１０２は内部にあってもよく、又はロボットアームを通して配線されてもよい。更に他の実施形態では、画像捕捉モジュール１４０４並びにモータ及び照明モジュール１４０６は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）を介してプロセッサ４１０２と無線通信し得る。

一例のプロセッサ４１０２はまた、ワイヤハーネス４１０２を介してセンサ３３０６に電気的且つ／又は通信可能に結合される。プロセッサ４１０２は、例えば、センサ３３０６から回転出力データ及び／又は並進出力データを受信するように構成される。データは、デジタルデータ及び／又はアナログ信号を含み得る。幾つかの実施形態では、プロセッサ４１０２は、検出された力及び／又は運動を示す出力データの略連続ストリームをセンサ３３０６から受信する。他の例では、プロセッサ４１０２は、定期的なサンプリング間隔で出力データを受信する。更に他の例では、プロセッサ４１０２は、出力データを要求する要求メッセージを定期的に送信する。

図示の例では、プロセッサ４１０２は、ディスプレイモニタ５１２、入力デバイス１４１０ａ、１４１０ｂ、及び他のデバイス／システム４１０４（例えば、Ｘ線機械、コンピュータ断層撮影（「ＣＴ」）機械、磁気共鳴撮像（「ＭＲＩ」）機械等の医療撮像デバイス、カメラ、画像又は手術ガイダンスを記憶するワークステーション等）の少なくとも１つに通信可能に更に結合される。入力デバイス１４１０ａはタッチスクリーンデバイスを含み得、入力デバイス１４１０ｂはフットスイッチを含み得る。タッチスクリーン入力デバイス１４１０ａは、ディスプレイモニタ５１２と統合してもよく、且つ／又は例えば図５のカート５１０における別個のデバイスとして提供されてよい。一例のディスプレイモニタ５１２は、立体視覚化カメラ３００により記録された標的手術部位の立体ビデオ（又は別個の二次元左右ビデオ）を含む１つ又は複数のユーザインターフェースを表示するように構成される。

タッチスクリーン入力デバイス１４１０ａは、立体視覚化カメラ３００、結合板３３０４、及び／又はロボットアーム５０６の制御に関連するユーザ入力を受信する１つ又は複数のユーザインターフェースを提供するように構成される。入力デバイス１４０１ａは、作業距離、フォーカス、倍率、照明のソース及びレベル、フィルタ、及び／又は立体視覚化カメラ３００のデジタルズームを制御する命令をオペレータが指定、設定、又は他の方法で提供できるようにするよう構成された１つ又は複数のグラフィカル制御ボタン、スライダ等を含み得る。入力デバイス１４１０ａはまた、ディスプレイモニタ５１２に表示された表示立体ビデオにフォーカス且つ／又は他の方法で重ねる手術ガイダンスグラフィックス／テキスト、ビデオ、及び／又は画像をオペレータが選択できるようにする１つ又は複数の制御ボタンを含むこともできる。入力デバイス１４１０ａはまた、オペレータ入力又は外科処置視覚化テンプレートの作成を可能にするよう構成されたユーザインターフェースを含むこともできる。入力デバイス１４１０ａは、速度、運動、展開／格納、較正、標的ロック等の動作パラメータの制御、ビュー位置の記憶、及び／又はカメラ３００の向きの変更又は新しい向きの入力を行う選択肢を含め、ロボットアーム５０６及び／又は結合板３３０４を制御する１つ又は複数の制御ボタンを更に含み得る。ロボットアーム５０６及び／又は結合板３３０４のユーザインターフェース制御は、カメラ３００を移動させる制御を含み得、カメラ３００を移動させる制御は個々のジョイントＲ１〜Ｒ９のコマンドに変換される。追加又は代替として、ロボットアーム５０６及び／又は結合板３３０４のユーザインターフェース制御は、ジョイントＲ１〜Ｒ９のそれぞれを個々に移動させる制御を含み得る。入力デバイス１４１０ａを介して受信される入力は、処理のためにプロセッサ４１０２に送信される。

一例のフットスイッチ入力デバイス１４１０は、例えば、立体視覚化カメラ３００、結合板３３０４、及び／又はロボットアーム５０６の位置を制御する入力を受信するように構成されたフードペダルを含み得る。例えば、フットプレート入力デバイス１４１０ｂは、ｘ軸、ｙ軸、及び／又はｚ軸に沿ってカメラ３００を移動させる制御を含み得る。フットプレート入力デバイス１４１０ｂはまた、カメラ３００の位置を記憶し、且つ／又は前に記憶された位置を返す制御を含むこともできる。フットプレート入力デバイス１４１０ｂは、カメラ３００のフォーカス、ズーム、倍率等を変更する制御を更に含み得る。

他の実施形態では、立体視ロボットプラットフォーム５１６は、ジョイスティック、マウス、又は他の同様の２Ｄ若しくは３Ｄ手動入力デバイス等の追加の入力デバイス１４１０及び／又は代替の入力デバイス１４１０を含み得る。入力デバイス１４１０は、Ｘ−Ｙパンデバイスと同様の入力を提供するように構成され、追加の自由度によりシステム運動の柔軟性が生じる。３Ｄマウス又は自由度６のコントローラ等の３Ｄ機能を有する入力デバイスは、柔軟で好都合な入力コマンドに適する。これらのユーザ制御デバイスの主な利点は、運動が生じている間、手術画像を容易に見ることができることである。さらに、外科医は、手術全体及び付近部位の周囲で何が起きているかを見て、例えば、カメラ３００が手術スタッフ及び／又は付近の装備にぶつかることを回避することができる。

任意選択的に、入力デバイス１４１０は、頭部、目、又は眼鏡搭載追跡デバイス、音声認識デバイス、及び／又はジェスチャ入力デバイスを含み得る。これらのタイプの入力デバイス１４１０は、オペレータが滅菌グローブで何も触れる必要がないように「ハンズフリー」動作性を促進する。手術の特定の手の動きが認識され、カメラ３００、結合板３３０４、及び／又はロボットアーム５０６への制御信号に変換されるジェスチャ認識制御を使用し得る。同様の機能が音声認識デバイスにより提供され、この場合、マイクロホンが「カメラを左に移動」等のオペレータからのコマンドを検知し、発話をコマンドとして認識し、それを適切なカメラ及び／又はロボット制御信号に変換する。代替の実施形態は、３Ｄディスプレイに対するオペレータの目の位置を特定し、表示されたシーンのどこをオペレータが見ているかに応じてビューを調整することができるように構成された目追跡デバイスを含む。

他の実施形態は、基準系においてオペレータの頭部（例えば、オペレータの３Ｄ眼鏡に搭載された追跡可能ターゲット又は１組のターゲットを介して）及び「頭部追跡」をアクティブ化するフットスイッチの位置を追跡するように構成されたデバイスを含む。一例の追跡入力デバイスは、作動時におけるオペレータの頭部の開始位置を記憶し、次に、何らかの短い時間間隔で頭部位置を連続して検出するように構成される。追跡入力デバイスはプロセッサ４１０２と併せて、現在位置と開始位置との間の運動デルタベクトルを計算し、ベクトルを対応するロボットアーム又はカメラレンズ移動に変換し得る。例えば、追跡入力デバイス１４１０及びプロセッサ４１０２は、画面上の画像が左／右に移動するように、左／右頭部移動をロボットアーム移動に変換し得る。追跡入力デバイス１４１０及びプロセッサ４１０２はまた、画面上の画像が上／下に移動するように、上／下頭部移動をロボットアーム又はカメラレンズ移動に変換し、画面上の画像がズームイン／ズームアウトされるように、前／後頭部移動をロボットアーム又はカメラレンズ移動に変換することもできる。例えば、頭部回転をロボットアーム５０６の「標的ロック」移動に変換することにより、他の移動変換も可能である。本明細書に記載されるように、標的ロックは、幾らかの許容差内でロボットプラットフォーム５１６の焦点をシーン又はＦＯＶ内の同じポイントに維持し、オペレータの頭部移動に類似する方向においてロボットアーム５０６（ひいてはビュー）を旋回させるように構成される。

特定の外科処置前、機器及び視覚化に望ましいパスを確立する手術計画が作成される。幾つかの実施形態では、入力デバイス１４１０は、オペレータからの更なる入力が略ない状態で、そのような所定のパスを辿るように構成される。したがって、オペレータは、手術部位のビューが予め計画されたように自動的に変わる間、動作を継続することができる。幾つかの実施形態では、手術計画は、カメラの位置、倍率、フォーカス等に対応する１組の予め計画されたウェイポイントを含み得る。オペレータは、外科処置が進むにつれて、入力デバイス１４１０を作動させて、ウェイポイントを通して進めさせ得る（プロセッサ４１０２にロボットアーム５０６、結合板３３０４、及び／又はカメラ３００を計画通りに移動させる）。

図示の実施形態では、一例のセンサ３３０６は入力デバイスである。センサ３３０６は、立体視覚化カメラ３００でのオペレータの運動又は力を検出し、検出された力／運動を回転及び／又は並進データに変換するように構成される。センサ３３０６は、ロボットアーム５０６がカメラ３００へのオペレータの穏やかなプッシュに電子機械的に応答できるようにする自由度６触力覚検知モジュール又は光学センサ（例えば、力／トルクセンサ）等の運動予期入力デバイスを含み得る。光学センサは、与えられた力及び／又はトルクを電気信号に変換し、それにより、オペレータによる望ましい力／トルク入力を検知し、検知された線形及び／又は回転方向において提供される運動要求に変換できるようにするよう構成された電子光学デバイスを含み得る。他の実施形態では、他のセンサタイプをセンサ３３０６に使用し得る。例えば、センサ３３０６は、オペレータからの触覚要求を検知するように構成された歪ゲージ又は圧電デバイスを含み得る。

実施形態では、外科医は制御アーム３０４の１つ又は複数を保持し、又はリリースボタン（制御アーム３０４の一方又は両方に配置し得る）を押す。リリースボタンを作動させると、カメラ３００は、オペレータが「補助付き移動」モードの開始を望むことを示すメッセージをプロセッサ４１０２に送信する。プロセッサ４１０２は、外科医がカメラ３００を望む方向に穏やかに操縦できるようにロボットアーム５０６及び／又は結合板３３０４を構成する。この移動中、プロセッサ４１０２はロボットアーム５０６及び／又は結合板にカメラ３００を「パワーステアリング」で移動させ、その重さを安全に支持し、どのジョイントをアクティブ化すべきであり、どのジョイントを制動すべきかを調整された様式で自動的に判断して、外科医が望む移動を達成する。

図示の例では、図４１の立体視ロボットプラットフォーム５１６は、ロボットアーム５０６及び／又は結合板３３０４を制御するように構成されたロボットアームコントローラ４１０６を含む。ロボットアームコントローラ４１０６は、プロセッサ４１０２からの１つ又は複数のメッセージ又は命令を、ジョイントＲ１〜Ｒ９の任意の１つを回転させる１つ又は複数のメッセージ及び／又は信号に変換するように構成されたプロセッサ、サーバ、マイクロコントローラ、ワークステーション等を含み得る。ロボットアームコントローラ４１０６はまた、ロボットアーム５０６及び／又は結合板３３０４からのジョイントの位置及び／又は速度等のセンサ情報を受信し、プロセッサ４１０２への１つ又は複数のメッセージに変換するようにも構成される。

幾つかの実施形態では、ロボットアームコントローラ４１０６は、プロセッサ４１０２とロボットアーム５０６との間に配置されるスタンドアロンモジュールとして構成される。他の実施形態では、ロボットアームコントローラ４１０６はロボットアーム５０６内に含まれ得る。更に他の実施形態では、ロボットアームコントローラ４１０６はプロセッサ４１０２と共に含まれ得る。

一例のロボットアームコントローラ４１０６は、ロボットプロセッサ４１２２により実行可能な、メモリ４１２０に記憶された１つ又は複数の命令を含む。命令は、１つ又は複数のソフトウェアプログラム、アルゴリズム、及び／又はルーチンになるように構成し得る。メモリ４１２０は任意のタイプの揮発性メモリ又は不揮発性メモリを含み得る。一例のロボットプロセッサ４１２２は、プロセッサ４１０２に通信可能に結合され、ロボットアーム５０６及び／又は結合板３３０４の動作に関連する１つ又は複数のメッセージを受信するように構成される。一例のロボットプロセッサ４１２０はまた、ジョイントＲ１〜Ｒ９の位置及び／又は速度を示す１つ又は複数のメッセージをプロセッサ４１０２に送信するようにも構成される。１つ又は複数のメッセージはまた、ジョイントが移動ストップに達したこと又は移動が妨げられていることを示すこともできる。

一例のプロセッサ４１２０は、全てのジョイントの全ての運動が全体としてカメラ３００における所望の撮像運動を生じさせるように調整されて、どのジョイントＲ１〜Ｒ９が給電されるかを決定するように構成される。「カメラを左に移動」例では、外科医の相対視点から左にシンプル且つ滑らかに並進するようにカメラの手術画像を見えさせる幾つかのジョイントの複雑な運動があり得る。「カメラを左に移動」例では、カメラ３００が結合板３３０４を通してロボットアーム５０６にいかに接続されるかに応じて、特定のジョイントへの制御信号は位置／向きに応じて劇的に異なり得ることに留意されたい。

メモリ４１２０は、ジョイントＲ１〜Ｒ９がジョイントの既知の位置に基づいていかに移動するかを指定する１つ又は複数の命令を含み得る。ロボットアームコントローラ４１０６は、命令されたカメラ移動がジョイント移動にいかに変換されるかを決定する１つ又は複数の命令を実行するように構成される。一例では、ロボットアームコントローラ４１０６は、立体視覚化カメラ３００がｚ軸に沿って下方に移動し、ｘ−ｙ平面において側方に移動すべきであることを示すメッセージをプロセッサ４１０２から受信し得る。換言すれば、プロセッサ４１０２は、カメラ３００の所望の移動に関する入力デバイス１４１０を介して受信される入力を示す送信する。一例のロボットアームコントローラ４１０６は、３次元座標における移動ベクトルを、所望の位置／向きを達成するジョイント位置移動情報に変換するように構成される。ロボットアームコントローラ４１０６は、所望の移動と併せてロボットアーム５０６及び／又は結合板３３０４のリンク及びジョイントの現在位置（及び／又はカメラ３００の位置／向き）を特定又は考慮に入れて、移動デルタベクトルを決定し得る。加えて、ロボットアームコントローラ４１０６は、１つ又は複数のチェックを実行して、所望の移動により、カメラ３００が、アーム５０６及び結合板３３０４と同じ座標系において定義される１つ又は複数の三次元境界により指定される制限エリアに入らない又は近づかないことを保証し得る。境界に近いエリアは、移動信号がジョイントに送信される場合、ロボットアームコントローラ４１０６により提供される低減されたスケーリング係数を指定し得、低減されたスケーリング係数は、ロボットアーム５０６が境界に近づく場合、ジョイントをよりゆっくりと移動させ、境界を越えて移動させないようにする。

境界チェックが実行された後、ロボットアームコントローラ４１０６は移動デルタ及び各ジョイントＲ１〜Ｒ９の現在位置／向きを使用して、ジョイントの１つ又は複数を回転させて、ロボットアーム５０６にカメラ３００を指定ロケーションに移動させるのに最適又は略最適な移動シーケンスを決定する。ロボットアームコントローラ４１０６は、例えば、移動デルタベクトルを満たすのに必要な最小量のジョイント移動を決定する最適化ルーチンを使用し得る。ジョイント移動量が決定された後、一例のロボットアームコントローラ４１０６は、１つ又は複数のメッセージ（任意のスケーリング係数を考慮に入れた回転量及び回転速度を示す）をモータコントローラ４１２４に送信するように構成される。ロボットアームコントローラ４１０６は、ロボットアーム５０６及び／又は結合板３３０４を定義又は調整されたシーケンスで移動させる一連のメッセージを送信し得る。一連のメッセージはまた、例えば、ロボットアーム５０６が仮想又は物理境界に近づく場合、ジョイント速度を変更させることもできる。

一例のモータコントローラ４１２４は、受信したメッセージを、ジョイントＲ１〜Ｒ９の１つ又は複数を回転させるパルス幅変調（「ＰＷＭ」）信号等のアナログ信号に翻訳又は変換するように構成される。モータコントローラ４１２４は、例えば、適切なジョイントモータへの入力ラインを選択し得、パルス持続時間はモータが回転する時間量の制御に使用され、パルスの周波数、デューティサイクル、及び／又は振幅は回転速度の制御に使用される。モータコントローラ４１２４はまた、ジョイントモータ及び対応するジョイントセンサに電力を提供することもできる。

幾つかの実施形態では、ロボットアームコントローラ４１０６はモータコントローラ４１２４と併せて、ジョイントセンサ位置情報を受信又は読み取り、運動学を通してロボットジョイント及びカメラ３００のロケーション及び向きを特定するように構成される。各ジョイントＲ１〜Ｒ９は、ジョイント位置、ジョイント回転速度、及び／又はジョイント回転方向を示すデータを検出し送信する少なくとも１つのセンサを含み得る。幾つかの実施形態では、センサは位置情報のみを送信し、速度／方向は、時間の経過に伴う位置情報差に基づいてロボットアームコントローラ４１０６により特定される。ロボットアームコントローラ４１０６は、移動情報を特定するためにセンサデータをプロセッサ４１０２に送信し得る。

ロボットアームコントローラ４１０６は、プロセッサ４１０２から移動命令を受信し、ヤコビアン、順運動学、及び／又は逆運動学を通して、どのモータ及びジョイントをアクティブ化すべきか、速度及び距離、並びに方向を決定する。次に、ロボットアームコントローラ４１０６は、適切なコマンド信号をモータコントローラ４１２４内のモータ電力増幅器に送信して、ロボットアーム５０６内のジョイントモータを駆動する。

一例のロボットアーム５０６は、適切なモータ電力信号を受信し、それに従って移動する。アーム５０６におけるセンサ及びブレーキは、ロボットアームコントローラ４１０６から種々の動作及びフィードバック情報に対して応答する。幾つかの実施形態では、ロボットアーム５０６は結合板３３０４に機械的且つ通信可能に接続され、結合板３３０４は結合器ステータス及び向き情報をロボットアームコントローラ４１０６に送信する。

幾つかの実施形態では、図４１の一例のロボットアーム５０６は結合器コントローラ４１３０を含む。一例の結合器コントローラ４１３０は、ロボットプロセッサ４１０６を迂回し、制御情報をプロセッサ４１０２と結合板３３０４との間で制御情報を中継するように構成される。結合器コントローラ４１３０は、メッセージをプロセッサ４１０２から受信し、それに対応してジョイントＲ７〜Ｒ９を結合板３３０４上で回転させ得る。結合器コントローラ４１３０はまた、ジョイント位置及び／又は速度に関するセンサ情報を受信し、ジョイント位置及び／又は速度を示す１つ又は複数のメッセージをプロセッサ４１０２に送信することもできる。これらの実施形態では、プロセッサ４１０２は、ロボットアーム５０６を制御するメッセージと、結合板３３０４についての別個のメッセージとを送信し得る。

幾つかの実施形態では、ロボットアームコントローラ４１０６は、ジョイントＲ７〜Ｒ９がいかに動くべきかを決定するように構成される。しかしながら、結合板３３０４がロボットアーム５０６に直接、通信可能に結合されていない場合、ロボットプロセッサ４１０６は、プロセッサ４１０２を介して移動信号を結合器コントローラ４１３０に送信し得る。ロボットプロセッサ４１０６の少なくとも幾人かのオペレータがプロセッサ４１０２と共に配置される場合、結合器コントローラ４１３０は、ロボットアーム５０６が移動コマンド又は信号をプロセッサ４１０２から受信するのと併せて、移動コマンド又は信号をプロセッサ４１０２から受信する。

図４１に示される実施形態では、一例の立体視覚化カメラ３００、プロセッサ４１０２、結合板３３０４、ロボットアーム５０６、ロボットアームコントローラ４１０６、及び／又は入力デバイス１４１０は、入力電力モジュール４１４０を介して電力を受信する。一例のモジュール４１４０は、電源（壁のコンセントからの電力等）及び／又は電力線異常によるシステム性能の妨害を回避する絶縁トランスを含む。幾つかの場合、電源は電池電源を含むことができる。

立体視覚化プラットフォーム５１６はまた、電力を即時遮断するように構成された緊急停止スイッチ４１４２を含むこともできる。スイッチ４１４２は、ロボットアーム５０６及び／又は結合板３３０４への電力のみを遮断し得る。プロセッサ４１０６は、緊急停止スイッチ４１４２のアクティブ化を検出し、ジョイントブレーキを係合させて、ロボットアーム５０６の落下を防ぎ得る。幾つかの場合、ロボットアーム５０６は、電力損失を検出した後、ジョイントブレーキをアクティブ化するように構成される。幾つかの実施形態では、ロボットアーム５０６のジョイントＲ１〜Ｒ６は、閾値を超える力が適用された場合、スリップし、それにより、オペレータが、緊急時、電力あり又はなしでアームを邪魔にならない所に素早く移動させられるよう構成される。

幾つかの実施形態では、一例のプロセッサ４１０２は、ロボットアーム５０６、結合板３３０４、及び／又は立体視覚化カメラ３００の１つ又は複数のグラフィカル表現を表示するように構成される。プロセッサ４１０２は、ロボットアーム５０６、結合板３３０４、及び／又はカメラ３００の制御を提供する１つ又は複数のユーザインターフェースにグラフィカル表現を表示させ得る。プロセッサ４１０２は、ロボットアーム５０６、結合板３３０４、及び／又はカメラの現在位置を反映するようにグラフィカル表現を位置決めし向き決めし得る。プロセッサ４１０２は、例えば、ロボットアームコントローラ４１０６からのフィードバックメッセージを使用して、グラフィカル表現におけるどのジョイントを回転させるべきかを決定し、それにより、ディスプレイデバイスの向き及び／又は位置を変更する。幾つかの場合、プロセッサ４１０２は、例えば、オペレータがグラフィカル表現においてリンク、ジョイント、又はカメラ３００を所望の位置に移動させることにより、グラフィカル表現を介してユーザ入力を受信するように構成される。立体視覚化カメラ３００が移動する場合、プロセッサ４１０２は、カメラが移動したロケーションに対応する新しい座標を送信し得る。ジョイント又はリンクが移動した場合、プロセッサ４１０２は、ジョイントの回転及び／又はリンクの位置を示すメッセージをロボットアームコントローラ４１０６に送信し得る。

幾つかの実施形態では、プロセッサ４１０２は、ロボットアームコントローラ４１０６と併せて動作して、ロボットアーム５０６及び／又は結合板３３０４の移動に基づいて又はロボットアーム５０６及び／又は結合板３３０４の移動と協働して、カメラの１つ又は複数のレンズを調整するように動作する。例えば、ロボットアーム５０６が手術部位に向かって移動する場合、プロセッサ４１０２はロボットアームコントローラ４１０６と併せて動作して、立体視覚化カメラ３００のレンズの１つ又は複数を移動させてフォーカスを維持することにより、作業距離又は焦点を変更する。プロセッサ４１０２は、ロボットアームコントローラ４１０６と併せて動作して、例えば、ロボットアーム５０６の移動により、作業距離が短くなると判断する。ＥＰＵプロセッサ４１０２は、ロボットアームコントローラ４１０６と併せて動作して、ロボットアーム５０６の移動により設定される新しい作業距離に基づいてレンズの新しい位置を決定する。これは、フォーカスを調整するために１つ又は複数のレンズを移動させることを含み得る。幾つかの実施形態では、プロセッサ４１０２は、ロボットアーム５０６の新しい位置に関して較正ルーチンを動作させて、例えば、疑似視差をなくすようにカメラ３００に命令し得る。

幾つかの場合、オペレータは、立体視覚化カメラ３００の１つ又は複数のレンズの位置を変更しており、レンズ移動限界に達し得る。レンズの位置はカメラ３００からプロセッサ４１０２に送信され、限界に達したと判断する。限界に達したことを検出した後、プロセッサ４１０２は、オペレータからの入力に基づいてロボットアーム５０６を移動させ（コントローラ４１０６を介して）、それにより、コマンドをレンズ移動からアーム移動に拡張して、所望の倍率又は標的エリアに達し得る。したがって、ロボットアームコントローラ４１０６と併せて動作するプロセッサ４１０２は、オペレータが、ロボットアームのインターフェースとカメラとの間の変更ではなく１つのみのユーザインターフェースを使用できるようにする。プロセッサ４１０２及び／又はコントローラ４１０６が任意の所定の移動限界と突き合わせて所望の移動をチェックして、移動によりカメラ３００又はロボットアーム５０６が制限された患者又はオペレータの空間に入らないことを保証することを理解されたい。限界違反が検出される場合、プロセッサ４１０２はロボットアームコントローラ４１０６と併せて、限界を示すアラートをオペレータに表示して、ロボットアーム５０６が停止した理由を示し得る（タッチスクリーン入力デバイス１４１０ａ及び／又はディスプレイモニタ５１２に表示されるユーザインターフェースを介して）。

Ｃ．ロボットアーム及び静止カメラ較正実施形態
上述したように、一例の立体視覚化カメラ３００は、様々な倍率で標的手術部位の高分解能立体ビデオ画像を提供するように構成される。立体視覚化プラットフォーム５１６の一環として、立体視覚化カメラ３００はロボットアーム５０６及び／又は結合板３３０４と併せて動作して、画像フォーカス、作業距離、倍率等を精密且つクリアに変更する。画像取得柔軟性を達成するために、立体視覚化プラットフォーム５１６は、１つ又は複数の較正、初期化、及び／又はリセットルーチンを動作させるように構成される。幾つかの実施形態では、立体視覚化カメラ３００、ロボットアーム５０６、結合板３３０４、又はより一般的には立体視覚化プラットフォーム５１６は、製造中及び／又は設置後、較正される。ロボットアーム５０６と共にカメラ３００の較正は、ロボットアーム５０６及びオペレータ空間に対するカメラ３００の位置決め情報を提供する。幾つかの実施形態では、立体視覚化プラットフォーム５１６の電源投入後、カメラ３００及び／又はロボットアーム５０６は、更なる較正／初期化を実行して、そのときのカメラ３００のロケーション及び向きを測定し検証するように構成される。

一例のプロセッサ４１０２は、較正からの結果（例えば較正データ）を例えば、図４１のメモリ１５７０及び／又はメモリ４１２０に記憶するように構成される。較正結果は、メモリ１５７０及び／又は４１２０内の較正レジスタ及び／又はルックアップテーブル（「ＬＵＴ」）に記憶し得る。記憶された較正データは、光学特性、機能特性、及び／又は性能特性を、オペレータ又はプロセッサ４１０２により調整可能、測定可能、且つ／又は検証可能なカメラ３００、ロボットアーム５０６、及び／又は結合板３３０４の属性に関連付け又はマッピングする。例えば、主対物レンズ組立体７０２（図７の）の作業距離アクチュエータモータエンコーダ位置が、ＬＵＴにおいて作業距離にマッピングされる。別の例では、ズームレンズ組立体７１６の線形エンコーダに沿ったズームレンズ軸位置が、ＬＵＴにおいて倍率レベルにマッピングされる。これらの各例について、一例のプロセッサ４１０２は、エンコーダ特性の適正レベルを決定し、調整し、特性が指定された又は所望の作業距離及び／又は倍率を提供することを検証するように構成される。幾つかの実施形態では、ＬＵＴは複合し得、その場合、カメラ３００、ロボットアーム５０６、及び／又は結合板３３０４の全ての関連する態様の全体制御について、複数の性能特性がプラットフォーム５１６の複数の属性にマッピングされる。

ロボットアーム５０６と一例の立体視覚化カメラ３００との組合せは、ロボットアーム５０６の基準系に関して高度に正確な位置、方向、及び／又は向き情報を提供する。以下のセクションに、視覚的ヒントを定義するために立体視覚化カメラ３００がいかに較正されるかを説明する。視覚的ヒントが決定された後、立体視覚化カメラ３００はロボットアーム５０６及び／又は結合板３３０６の基準系に見当合わせされる。したがって、較正及び見当合わせ後、手術部位の立体ビューは、ロボットアーム５０６及び／又は結合板３３０４の位置、方向、及び向きの制御と組み合わせた立体視覚化カメラ３００の統合制御を用いて統一される。

幾つかの実施形態では、図４１の一例のプロセッサ４１０２は、視覚的ヒントを含め、立体視覚化カメラ３００の見当合わせをロボットアーム５０６の位置、方向、及び／又は向き較正と精密に統合して、規定の座標系に関して、取得された立体画像及びそれらの間の全ての点の統一された位置、方向、及び／又は向き認識を定義するように構成される。一例のプロセッサ４１０２は、立体視覚化カメラ３００からの本質的な視覚的撮像データを使用して、ロボットアーム５０６の物理的な位置決め及び／又は向き決めを調整又は指示して、オペレータが望むように視覚化を提供するように構成される。加えて、プロセッサ４１０２により提供されるそのような指示及び調整は、フォーカス、作業距離、予め定義される位置、向き等の視覚化の好ましい特性を維持するように提供される。

幾つかの実施形態では、立体視覚化カメラ３００、ロボットアーム５０６、及び／又は結合板３３０４の較正は一般に、（ｉ）立体画像に影響する、立体視覚化プラットフォーム５１６の機能パラメータの不正確性を特定且つ／又は測定すること、（ｉｉ）立体画像の不正確性を所望レベル以下に最小化するように立体視覚化プラットフォーム５１６を較正又は調整すること、（ｉｉｉ）互いに対する又は較正テンプレートとの立体画像のデュアルチャネルの同時比較を通して所望レベルの較正精度内で調整が行われたことを検証すること、並びに（ｉｖ）タスクの実行に立体視覚化プラットフォーム５１６を使用することであって、較正の精度レベルは検出可能であり、維持される、使用することを含む。

代替の実施形態では、ロボットアーム５０６には、ロボットアーム５０６のジョイント及びリンクの互いとの物理的関係を精密に較正するとともに、ロボットアーム５０６及び／又は初期姿勢構成とのカメラ３００の視覚的ヒントの関係を較正するのに使用される１つ又は複数の固定較正基準が提供される。ロボットプラットフォーム較正基準は、ロボットアーム５０６を手術室等の外部環境又は外部環境内の患者若しくは標的空間と見当合わせ又は統合するのに使用することができる。固定較正基準は、ロボットアーム５０６の本体の外側部分への専用アタッチメント又は搭載ポイント、ジョイント、角等のロボットアーム５０６の既知の外部特徴の組合せを含むことができる。

１．立体視覚化カメラの較正の実施形態
手術部位の立体ビューを一致させるために、一例のプロセッサ４１０２及び／又は立体視覚化カメラ３００は、１つ又は複数の較正ルーチンを実行するように構成される。一例のルーチンは、プロセッサ４１０２により実行されると、プロセッサ４１０２に特定の作業距離、倍率（例えばズームレベル）、及びフォーカスレベルに対応するレンズ位置を決定させる、メモリ１５７０に記憶される１つ又は複数の命令により指定し得る。命令はまた、プロセッサ４１０２に、異なる作業距離及び／又は倍率での立体視覚化カメラ３００の投影中心、立体光軸、及び／又はＺＲＰを特定する１つ又は複数のルーチンを動作させることもできる。較正により、例えば、プロセッサ４１０２は、倍率及び／又は作業距離が変わった場合、標的手術部位にフォーカスした状態を保つことができる。

図４２は、本開示の実施形態例による、立体視覚化カメラ３００を較正する一例の手順４２００又はルーチンを示す。手順４２００について図４２に示される流れ図を参照して説明するが、手順４２００に関連するステップを実行する多くの他の方法が使用可能なことを理解されたい。例えば、ブロックの多くの順序は変更し得、特定のブロックは他のブロックと結合し得、記載されるブロックの多くは任意選択的なものである。さらに、手順４２００に記載される動作は、例えば、一例の立体視覚化カメラ３００の光学要素１４０２、画像捕捉モジュール１４０４、モータ及び照明モジュール１４０６、及び／又は情報プロセッサモジュール１４０８を含め、複数のデバイスの間で実行し得る。例えば、手順４２００は、情報プロセッサモジュール１４０８のプログラム１５６０の１つにより実行し得る。

一例の手順４２００は、立体視覚化カメラ３００が電源投入される（ブロック４２０２）とき、又は他の方法で初期化されるとき、開始される。カメラ３００はロボットアーム５０６に搭載し得る。代替的には、手順４２００は、立体視覚化カメラ３００が固定マウントに接続されるとき、実行することができる。一例の手順４２００は次に、図２５及び図２６に関連して上述したように、ＺＲＰ位置合わせを実行する（ブロック４２０４）。一例のプロセッサ４１０２は、上述したようにＺＲＰを自動的に位置合わせし、且つ／又はオペレータと併せて動作して、画像センサ７４６、７４８上の左右の光路の位置合わせを提供し得る。幾つかの例では、プロセッサ４１０２及び／又はオペレータは、ＺＲＰをピクセルグリッド原点と位置合わせするように移動させるためのレンズ構成要素の傾斜に非常に小さな調整を行うのに十分な精度で、モータを介して小さな移動又は屈曲部（図１３の屈曲部１３００）の屈曲を生じさせ得る。半手動位置合わせ中、プロセッサ４１０２は、画像センサ７４６及び７４８からの左画像及び右画像をディスプレイモニタ５１２において重ねさせ得る。オペレータは入力デバイス１４１０を使用して画像を調整し、ＺＲＰが適宜位置合わせされるまで、それに従ってセンサ７４６及び７４８のピクセルセットを移動させ得る。

位置合わせ中、ＺＲＰは画像中心に位置合わせされて、疑似視差を回避するように設定される。ディスプレイでの約１ピクセル以内の位置合わせが可能である。左右ビューから画像中心への位置合わせの程度は、ズーム動作中を含め、重ねられた画像において可視である。８°ＦＯＶの例では、４Ｋ画像センサ７４６、７４８及びディスプレイモニタ５１２の対応する４Ｋ表示分解能（約４０００ピクセル×約２０００行を含む）の使用は、システム分解能８°／４０００ピクセル＝７秒角を生成する。しかしながら、ＺＲＰ位置合わせは大半の任意の倍率で実行することができ、分解能（同数のピクセル（例えば、４０００））は低減（又は増大）されたＦＯＶ角で除算される。例えば、高倍率でのカメラ３００の実施形態例は、約２°のＦＯＶ角を生成する。８Ｋ ＵＨＤディスプレイモニタ５１２並びにセンサ７４６及び７４８は、約４０００行内に約８０００ピクセルを有する。このシステムの分解能は２°／８０００ピクセル＝１秒角である。これは、分角単位で測定された分解能を有する許容差を有する、組み立てられた、個々に測定された構成要素の精度、従来技術の既知のシステムよりも約１桁以上良好である。画像センサ及びディスプレイモニタは、同じ物理的センサ又はディスプレイ空間において一般にピクセルが小さくなるほど高密度になるため、立体視覚化カメラ３００の精度調整可能性は、より小さいピクセルサイズにスケーリングする。立体視覚化カメラ３００の強化された高精度位置合わせは、より良好でより正確なデジタルエフェクトを提供する。

ＺＲＰの位置合わせは、低倍率から高倍率に循環する際、左右の画像が所望の許容差範囲内で画像中心に留まり、標的手術部位の画像が正確である場合、完了する。ＺＲＰが立体視覚化カメラ３００の倍率性能全体を通して位置合わせされた後、各倍率レベルのピクセルセットロケーション及び／又はレンズロケーションは、例えば、ＬＵＴ４２０３又は他のデータ構造に記憶される。他の例では、プロセッサ４１０２は、較正レジスタに、各倍率レベルのピクセルセットロケーション及び／又はレンズロケーションを書き込む。

ＺＲＰが位置合わせされた後、一例のプロセッサ４１０２は、作業距離及び／又は倍率（例えばズーム）に関して較正する（ブロック４２０６）ように構成される。図１５の作業距離及びズーム例に関連して上述したように、作業距離の精密な知識は、ロボットアーム５０６が所望の座標に対してカメラを精密に位置決めし得るように、カメラ３００において重要である。幾つかの場合、正確な基準が、ロボットアーム５０６の機械的寸法と共に使用されて、画像からの物体面データを、本明細書ではロボット空間と呼ばれる立体視覚化プラットフォーム５１６を示す座標系に変換される。

一例の較正手順４２００が実行されて、立体視覚化カメラ３００の光学系の作業距離をマッピングし、作業距離は、共通モード対物（「ＣＭＯ」）レンズ組立体（例えば、図４及び図７の前部作業距離主対物レンズ４０８）から物体面までミリメートル単位で計算又は測定し得る。作業距離は、例えば、物理的ストップ又は限界スイッチトリガー位置等の既知の「ホーム」ロケーションからのモータシャフトエンコードデバイスのカウントで測定されるフォーカスモータ位置等の既知の測定可能なパラメータにマッピングされる。

ブロック４２０６における較正は、プロセッサ４１０２が光軸に沿って離散ステップで物体面を順次移動させ、図４３と併せてより詳細に考察するように、エンコーダカウント及び作業距離を記録しながら画像を再フォーカスすることにより実行される。プロセッサ４１０２は、ＣＭＯの正面から作業距離を外部から測定する。エンコーダカウント及び作業距離のマッピングは、ＬＵＴ４２０３又は異なるＬＵＴ及び／又は較正レジスタに記憶される。この較正は、所望の作業距離を所与として、プロセッサ４１０２がエンコーダカウント位置をモータコントローラに出力できるようにする。立体視覚化カメラ３００の例示的な実施形態は、高回転カウント数シャフトエンコードデバイスを使用し、作業距離の分解能は各エンコーダカウント当たり１μｍのオーダである。代替の実施形態は、所望に応じてより高い又はより低い作業距離分解能を提供する異なるエンコーダ分解能を含み得る。

図４３は、本開示の実施形態例による、離散ステップで物体面を移動させる一例の立体視覚化カメラ３００の実施形態を示す。一例の立体視覚化カメラ３００は、図７の主対物レンズ組立体７０２（例えばシングルＣＭＯ）を含み、これは、標的手術部位の左右ビューを提供するように構成される。図示の例では、主対物レンズ組立体７０２は、筐体４３０２内の静止前部作業距離レンズ４０８と、可動後部作業距離レンズ７４０とを有する色消しレンズ屈折組立体として示され、可動後部作業距離レンズ７４０はｚ軸（又は他の光学軸）に沿って移動可能である。後部作業距離７０４の移動は、前部作業距離レンズ４０８までの距離を変更させる。レンズ４０８と７０４との間の間隔は、主対物レンズ組立体７０２の全体前部焦点距離４３０４を決め、したがって、前部焦点面４３０６（又は単に「焦点面」）のロケーションを決める。前部焦点面４３０６は、主対物レンズ組立体７０２の主面４３０８から焦点距離４３０４に等しい距離に配置される。主面４３０８のロケーションの測定は難しいことがあり、したがって、筐体４３０２の底面から前部焦点面までの距離が作業距離４３１０として定義される。したがって、作業距離４３１０は、ピントが合った標的部位又はシーンの平面を正確に設定する。

前部焦点面４３０６における物体の撮像は、主対物レンズ組立体７０２の後ろ又は背後から無限遠に配置された連続画像を作成する。瞳孔間距離（「ＩＰＤ」）４３１２により横方向に隔てられた、カメラ３００の光学系及びセンサ７１４、７１６、７１８、７４４Ｒ、及び７４４Ｌを含む２つの平行光路は、主対物レンズ組立体７０２の光軸４３２４からわずかに異なる方向で左光軸４３２０及び右光軸４３２２に沿って左ビュー及び右ビューをそれぞれ生成する。２つの光路は、それぞれの外部収束左右軸が画像４３３０のＦＯＶの中心と一致するように設定されるよう調整される。このポイント４３３０は、本明細書では、前部焦点面４３０６における立体視覚化カメラ３００の「先端部」と呼ばれる。

後部作業距離レンズ７４０の位置の調整は、主対物レンズ組立体７０２前部焦点距離４３０４を変更させる。示されるように、後部作業距離レンズ７４０の位置変更は、新しい前部焦点面４３０６’の位置に配置された新しい作業距離４３１０’を生み出す。後部作業距離レンズ７４０の移動はまた、左光軸４３２０’及び右光軸４３２２’を再び位置合わせさせ、カメラ３００の再配置先端部４３３０’を生じさせる。焦点面４３０６の上又は下でのカメラ３００を用いての物体の視覚化は、物体のフォーカスを低減する。

作業距離較正と同様にして、プロセッサ４１０２が、既知のサイズの物体の画像高さを測定しながら、倍率を変えることにより、同様のＬＵＴ又は作業距離ＬＵＴ４２０３内の追加の列を構築することができる。倍率は、物理的ストップ又は限界スイッチトリガー位置等の既知の「ホーム」ロケーションからのモータシャフトエンコードデバイスのカウントを特定することにより定量化することができる。プロセッサ４１０２は、例えば、各倍率位置でのセンサピクセル数で、画像高さを相対的に測定することができる。倍率は、例えば、ピクセル単位の高さをミリメートル単位の高さで除算することで特徴付けることができる。

図４２に戻ると、立体視覚化カメラ３００の作業距離及び倍率が較正された後、一例のプロセッサ４１０２は、投影中心を特定する（ブロック４２０８）ように構成される。投影中心（例えばＣＯＰ）は、図１５に関連して上述したように、立体視覚化カメラ３００をモデリングする１つ又は複数のルーチンを使用して特定し得る。手術部位の左右立体ビューを一致させるために、多くの場合、ソフトウェア、ファームウェア、ハードウェア、及び／又はプロセッサ４１０２のＧＰＵコードに実装される数学的モデルを使用して物理的カメラ３００をモデリングすることが望ましい。脳腫瘍のＭＲＩ画像等の３Ｄコンピュータモデルの視点は多くの場合、ユーザ調整可能な方向及び距離からレンダリングされ見ることができる（例えば、まるで画像が合成立体カメラにより捕捉されるかのように）。プロセッサ４１０２はモデルの調整可能性を使用して、ライブ手術画像の視点を一致させ得、したがって、ライブ手術画像の視点は既知でなければならない。

立体視覚化カメラ３００及び／又はプロセッサ４１０２の例示的な実施形態は、各値の倍率及び作業距離でカメラモデルパラメータを正確に測定し計算するように構成される。これらの値は、立体視覚化カメラ３００内に含まれる別個の光学系により制御される。デュアル光学系は、左右のチャネル／ビュー間の画像の中心における視差が焦点面４３３０において概ねゼロであるように位置合わせされる。さらに、立体視覚化カメラ３００は、倍率範囲にわたり同焦点であり、倍率及び作業距離範囲にわたり同中心（ｐａｒ ｃｅｎｔｒａｌ）であり、その理由は、左右の各チャネルのＺＲＰが各ピクセルグリッドの中心に位置合わせされているためである（ブロック４２０２において上述）。換言すれば、倍率のみを変更すると、両チャネルにおいて画像のピントは維持され、同じ中心点でトレーニングされる。同様に、作業距離のみを変更すると、標的及び立体視覚化カメラ３００が静止したままである場合、画像において垂直視差は生じず、左右のビュー間の水平視差のみが増大するはずである。

図４４は、本開示の実施形態例による、立体視覚化カメラ３００のＣＯＰを特定するプロセッサ４１０２により実行可能なルーチンを示すグラフ４４００を示す。図示の例では、ピンホール又はモデリングされたカメラ３００のＣＯＰは、ピンホールの平面（Ｏ）において光軸４４０２に沿う。カメラモデルのＣＯＰを特定するために、仮想ピンホールカメラモデルが使用され、ここでは、プロセッサ４１０２は、ＣＯＰから物体面までの実際の焦点距離４４０４を特定するように構成される。較正ルーチン中、プロセッサ４１０２は、例えば、光軸４４０２に沿った３つの異なる距離における高さ４４０８の物体を用いた光学画像センサ７４４の平面、物体面、物体面距離未満の距離「ｄ」、及び物体面距離超の距離「ｄ」におけるピクセル数単位の画像高さ４４０６の測定値が記録されている間、カメラ３００の倍率を維持する。プロセッサ４１０２は、２つの最も極端な位置における同様の三角形に基づいて、ＣＯＰ４４１０までの焦点距離４４０４を特定する代数を含むルーチンを使用する。プロセッサ４１０２は、較正に使用される倍率に対する代替の倍率の比率に基づいて、代替の倍率での焦点距離を特定し得る。

図４２に戻ると、一例のプロセッサ４１０２は、様々な作業距離及び倍率でのＣＯＰを特定するように構成される。プロセッサ４１０２は、ＬＵＴ４２０３、異なるＬＵＴ、又は１つ若しくは複数の較正レジスタにおいてレンズのモータシャフトエンコーダカウントを様々な作業距離及び倍率でのＣＯＰに関連付ける。幾つかの実施形態では、プロセッサ４１０２は、１つの倍率及び／又は作業距離のＣＯＰの関連のみを記憶し、１つの既知のＣＯＰ関係を使用して他の倍率及び／又は作業距離を計算し得る。

ＣＯＰについて較正した後、一例のプロセッサ４１０２は、立体左右光軸及び立体視覚化カメラ３００の軸間の瞳孔間距離（「ＩＰＤ」）を較正する（ブロック４２１０）ように構成される。立体視覚化カメラ３００の光学系を特徴付けるために、左右のチャネル／ビュー間のＩＰＤは既知であるべきである。実施形態では、ＩＰＤは、図７に示されるセンサ及び光学系を保持する機械的構成要素に設計し得る。したがって、ＩＰＤは機械的に設定される。しかしながら、実際の光軸は、光学要素及び光学要素のマウントの機械軸と異なり得る。他の実施形態では、ＩＰＤは立体視覚化カメラ３００内で変更することができる。

幾つかの用途では、立体視覚化カメラ３００の系における基準軸又は機械軸に対する立体光学軸の方向を精密に知ることが望ましい。これにより、例えば、プロセッサ４１０２は機械的手段を通して立体視覚化カメラ３００を精密に照準付けることができる。照準付けることは、立体視覚化カメラ３００の基準系に関して、立体光軸に同時に注目して幾何学的に定義されるビューベクトルにより特徴付けることができる。加えて、立体視覚化カメラ３００を構成する光学センサ７４４の左右チャネルのクロッキングがビューベクトルに含まれる。

図４５は、本開示の実施形態例による、立体視覚化カメラ３００のＩＰＤをいかに測定し較正し得るかを示す光学概略の平面図を示す。図示の例では、光軸４５０２は、機械軸４５０４と完全に位置合わせされる。右画像センサ７４６及び左画像センサ７４８（１つ又は複数のカメラモデルにより近似される）は、ＩＰＤ４５０６だけ離間される。センサ７４６及び７４８は物体４５０８（標的手術部位内の）に位置合わせされフォーカスする。物体４５０８は、焦点面４５１２における物体の左ビュー又は右ビューの表示に示されるように、物体面における視差が理論上、ゼロであるように、センサ７４６及び７４８から焦点距離４５１０に配置される。この説明のための例では、明確にするために、物体４５０８は円盤であり、その正面図はアイテム４５１４として示される。

図４５も、物体４５０８が機械軸に沿って距離「ｄ」だけ変位し、アイテム４５０８’として示される別の例を示す。物体４５０８の変位は視差を生み出し、視差は左ビュー４５２０の表示ではＰ_Ｌとして右ビュー４５２２の表示ではＰ_Ｒとして現れる。この例では、機械軸及び光軸は一致し、視差の大きさは等しい。視差は、例えば、左ビュー４５２０と右ビュー４５２２との間の差分のピクセル数をカウントし、ＣＯＰ較正ステップにおいて特定された倍率係数ピクセル／ｍｍで乗算することにより測定することができる。プロセッサ４１０２は、三角測量を使用してＩＰＤを計算し得る。各ビューの変位距離ｄ及び視差の測定精度は、立体視覚化カメラ３００のＩＰＤの精密な知識に寄与する。

図４６は、本開示の実施形態例による、立体視覚化カメラ３００の光軸をいかに測定し較正することができるかを示す光学概略の平面図を示す。この例では、光軸４５０２は、４６０２として示される角度（α）だけ機械軸４５０４からずれている。右画像センサ７４６及び左画像センサ７４８（１つ又は複数のカメラモデルで近似される）は、焦点面４６０４における物体４５０８の左ビュー又は右ビューの表示に示されるように、物体４５０８の平面における視差が理論上、ゼロであるように焦点距離に配置された物体４５０８（標的手術部位内の）に位置合わせされフォーカスする。

図４６も、物体４５０８が機械軸に沿って距離「ｄ」だけ変位し、物体４５０８’として示される別の例を示す。物体４５０８の変位は視差を生み出し、視差は左ビュー４６１０の表示ではＰ_Ｌとして及び右ビュー４６１２の表示ではＰ_Ｒとして現れる。機械軸４５０４及び光軸４５０２が一致しないこの例では、視差の大きさは等しくない。一例のプロセッサ４１０２は、三角測量を介してＩＰＤ及び位置合わせずれ角度α（例えば、立体光軸）を計算するように構成される。各ビューの変位距離ｄ及び視差の測定精度により、プロセッサ４１０２は、立体視覚化カメラ３００のＩＰＤ及び光軸を正確に決定することができる。

同様の手順は、例えば、垂直面における機械軸及び光軸の位置合わせずれを測定するのに使用することもできる。例えば、水平面又は垂直面における位置合わせずれの組合せは、機械軸に関してビューベクトルを正確に推測することができるように組み合わせることができる。幾つかの実施形態では、ＩＰＤ及び光軸パラメータは、様々なレベルの作業距離及び／又は倍率で測定し得る。ＩＰＤ、光軸、作業距離、及び／又は倍率間の関係は、プロセッサ４１０２によりＬＵＴ４２０３、別のＬＵＴ、及び／又は較正レジスタに記憶し得る。

図４２に戻ると、一例の立体視覚化カメラ３００の光軸及び／又はＩＰＤが較正された後、一例のプロセッサ４１０２は、較正プロセスを完了して、カメラ３００をロボットアーム５０６に接続できるようにする（ブロック４２１２）よう構成される。手順４２００は次に終了し得る。幾つかの実施形態では、カメラ３００が再初期化され、且つ／又は任意の較正を検証又は確認することができない場合、一例の手順４２００の少なくとも部分は繰り返される。

幾つかの実施形態では、手順４２００の上記ステップが手動又は半手動で実行可能なことを理解されたい。他の実施形態では、上記ステップは、プロセッサ４２００により自動的に連続して実行し得る。幾つかの実施形態では、測定は、左右両方のビューにおける識別を可能にするのに十分なコントラストを含む十分な数の物体を有する、適した標的又は任意の標的の画像認識を通して行うことができる。加えて、プロセッサ４１０２は、立体視覚化カメラ３００の光学要素の正確な相対位置を評価するために、視差測定値を特定又は計算し得る。プロセッサ４１０２は光学測定をリアルタイムで実行し得る。

幾つかの実施形態では、較正及び測定のこれら又は均等な方法を実行する自動化反復技法の使用は、精度を上げ、較正及び測定に必要な時間及び／又は労力を低減することができる。例えば、作業距離（ひいては変位ｄ）は、上述したように、エンコーダカウントの数量とＬＵＴ４２０３により正確に既知である。倍率、及び例えばそのピクセル／ｍｍ変換係数も、上述したように、エンコーダカウントの数量とＬＵＴ４２０３により正確に既知である。差異又は物体サイズ特定のための画像におけるピクセルのカウントは、例えば、テンプレート照合を使用して上述したように、手動で正確に実行又は正確に自動化することができる。これらの値の測定及び記憶は、一例のプロセッサ４１０２により立体カメラモデルパラメータ及びビューベクトルを準リアルタイムで正確に推測することができるように組み合わせることができる。

図４７は、光学パラメータが完全に特徴付けられる較正された立体視覚化カメラ３００の図を示す。図示の実施形態では、カメラモデルを介して特定されるように、想像上の左右画像センサ位置４７００に繋がる左右光軸が示されている。図４７はまた、中央立体光軸又はビューベクトル４７０２も示す。カメラモデルの想像上の左右ビュー構成要素は、焦点距離Ｚに位置決めされている。加えて、カメラモデルの左右ビュー構成要素は、測定された有効ＩＰＤだけ離間される。図示の例では、焦点面における物体は、立体視覚化カメラ３００内の画像センサ７４６及び７４８により記録される想像上の左右ビュー構成要素により同様の立体視点で見られる。

２．立体視覚化の較正により追加の画像との融合を可能にする
一例のプロセッサ４１０２は、高分解能クリア画像を提供するのみならず、ライブ立体画像を、外部デバイス４１０４から受信した１つ又は複数の画像／モデルと位置合わせするためにも較正パラメータ／情報を使用するように構成される。ＬＵＴ４２０３及び／又は較正レジスタ内のカメラモデルパラメータに関連する較正データのマッピングにより、プロセッサ４１０２は、ソフトウェア、ファームウェア、ハードウェア、及び／又はコンピュータコードで実装される立体視覚化カメラ３００の数学的モデルを作成することができる。一例では、プロセッサ４１０２は、例えば、図４２と併せて考察した手順４２００を使用してカメラモデルパラメータを受信、特定、又は評価するように構成される。較正が既に実行されている場合、プロセッサ４１０２は、１つ又は複数のメモリ１５７０及び／又は４１２０からのカメラモデルパラメータを評価する。プロセッサ４１０２はまた、デバイス４１０４から、術前画像、ＭＲＩ画像、ＭＲＩ又はＣＴデータからの手術部位の３Ｄモデル、Ｘ線画像、及び／又は手術ガイド／テンプレート等の代替のモダリティの画像データを受信する。プロセッサ４１０２は、カメラモデルパラメータを使用して代替モダリティデータの合成立体画像をレンダリングするように構成される。一例のプロセッサ４１０２はまた、モニタ５１２を介した表示に合成立体画像を提供するようにも構成される。幾つかの例では、プロセッサ４１０２は、合成立体画像を現在の立体視覚化と融合するように構成され、まるで１つの視覚化デバイスにより取得されたかのように同一の視点で、各モダリティの望ましい側面を見ることができ、且つ／又は重ねることができる。

幾つかの実施形態では、図４７に示されるパラメータは、プロセッサ４１０２により、代替のモダリティの合成立体画像、例えばＭＲＩ画像データを立体視覚化カメラ３００の立体視点と一致させるのに使用される。したがって、一例のプロセッサ４１０２は、記憶された光学較正パラメータを立体画像合成に使用する。一例では、プロセッサ４１０２は光学較正パラメータを使用して、ライブ立体画像を、ＭＲＩデバイスを使用して術前に撮像された脳腫瘍の三次元モデルと融合する。一例のプロセッサ４１０２は光学較正パラメータを使用して、立体画像に一致する脳腫瘍の三次元モデルの対応するロケーション、サイズ、及び又は向きを選択する。換言すれば、プロセッサ４１０２は、立体視覚化カメラ３００により記録されたビューに対応する三次元モデルの一部を選択する。プロセッサ４１０２はまた、カメラ３００の作業距離、倍率、及び／又は向きがいかに変わるかの検出に基づいて、モデルのどの部分が表示されるかを変更することもできる。

プロセッサ４１０２は、モデルのグラフィカル表現を立体画像に重ねさせ得、且つ／又はモデルのグラフィカル表現を立体画像と視覚的に融合して表示させ得る。プロセッサ４１０２により実行される画像処理は、モデルのグラフィカル表現とライブ立体ビューとの間の境界を平滑化することを含み得る。画像処理はまた、下にあるライブ立体ビューも外科医に見えるように、モデルのグラフィカル表現の少なくとも一部の透明度を上げることを含むこともできる。

幾つかの例では、プロセッサ４１０２は、立体画像におけるあらゆるピクセルの深度マップを生成且つ／又はレンダリングするように構成される。プロセッサ４１０２は較正パラメータを使用して、例えば、画像における組織深度を特定し得る。プロセッサ４１０２は、対象組織に注意するため且つ／又はカメラ３００がロボットアーム５０６と嵌合したとき、非意図的な接触を回避するために機器のロケーションを識別するための画像認識に深度情報を使用し得る。深度情報はプロセッサ４１０２により、例えば、調整された少なくとも半自動化された外科処置を行うために、ロボット縫合デバイス、診断機器、処置モニタリング及び記録システム等に出力される。

３．ロボットアーム較正の実施形態
立体視覚化カメラ３００は、上述したように較正された後、ロボットアーム５０６及び／又は結合板３３０４に接続し得る。後述するように、記憶された較正パラメータにより提供される焦点距離Ｚに関する作業距離の精密な知識は、立体視覚化カメラ３００の位置及び／又は向きを特定するために、一例のプロセッサ４１０２及び／又はロボットプロセッサ４１２２により使用される。ロボットアームとの立体視覚化カメラ３００の組合せは、標的手術部位のフォーカス又はビューを保ちながら、種々の作業距離のシームレスな遷移を提供するように構成される。

後述するロボットアーム５０６の較正手順は、ロボットアームタイプに関係なく実行し得る。例えば、較正手順は、単に１つ又は２つのリンク及びジョイントから、６つ以上のジョイントを含むジョイント構造までの回転ジョイントを介して互いに接続された機械的リンクを含む連結式ロボットシステムに対して実行し得る。較正手順はまた、Ｘ、Ｙ、及びＺ方向を有する座標系を使用する、線形ジョイントを有するガントレイを備えたデカルトロボットシステムに対して実行することもできる。デカルトロボットシステムの最後のジョイントは、リストタイプスイベルジョイントを含み得る。較正手順は、ベースに回転ジョイントを備え、１つ又は複数の追加の回転及び／又は線形ジョイントを備えて、円筒形作業空間を形成する円筒座標ロボットシステムに対して更に実行し得る。さらに、較正手順は、２つ以上の回転軸で動作し得るジョイントを介してベースに接続されたアームを備え、１つ又は複数の線形又はリストジョイントを更に備える極座標ロボットシステムに対して実行し得る。較正手順はさらに、組み立て用途に使用される主に円筒形で動作する選択的コンプライアンスアームを備える選択的コンプライアンス組立ロボットアーム（「ＳＣＡＲＡ（Ｓｅｌｅｃｔｉｖｅ Ｃｏｍｐｌｉａｎｃｅ Ａｓｓｅｍｂｌｙ Ｒｏｂｏｔ Ａｒｍ）」）システムに対して実行し得る。

図４８は、本開示の実施形態例による、ロボットアーム５０６を較正する一例の手順４８００又はルーチンを示す。手順４８００について図４８に示される流れ図を参照して説明するが、手順４８００に関連するステップを実行する多くの他の方法が使用可能なことを理解されたい。例えば、ブロックの多くの順序は変更し得、特定のブロックは他のブロックと結合し得、記載されるブロックの多くは任意選択的なものである。さらに、手順４８００に記載される動作は、例えば、図１４の一例の立体視覚化カメラ３００の光学要素１４０２、画像捕捉モジュール１４０４、モータ及び照明モジュール１４０６、情報プロセッサモジュール１４０８、及び／又はジョイントＲ１〜Ｒ９、及び図４１のロボットアームコントローラ４１０６を含め、複数のデバイスの間で実行し得る。例えば、手順４８００は、ロボットアームコントローラ４１０６のメモリ４１２０に記憶されたプログラムにより実行し得る。

幾つかの実施形態では、結合板３３０４はロボットアーム５０６に接続される（ブロック４８０２）。結合板３３０４が使用されない場合、立体視覚化カメラ３００はロボットアーム５０６の接続又は結合インターフェース３４５０に直接接続される。結合板３３０４が使用される場合、立体視覚化カメラ３００は結合板に接続される（ブロック４８０４）。上述したように、結合板３３０４の第１の端部３７０２はロボットアーム５０６に接続され、結合板３３０４の第２の端部３７０４は立体視覚化カメラ３００に接続される。

一例の立体視覚化カメラ３００がロボットアーム５０６に接続された後、一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、カメラ及びビューベクトルをロボットアーム５０６の静止ベース３４０４周囲に由来する座標系に較正する（ブロック４８０６）ように構成される。本明細書では、この座標系は「ロボティック空間」又は「ロボット空間」と呼ばれる。この較正ステップ中、ロボットアーム５０６への既知の移動は、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６により使用されて、標的手術部位の視覚化中、カメラ３００のビューベクトル及び物体面の向き及びロケーションを特定する。

幾つかの実施形態では、カメラ３００、結合板３３０４、及びロボットアーム５０６の機械的特徴は、一緒に機械的に接続された場合、カメラ３００、結合板３３０４、及びロボットアーム５０６間の関係が一意に特定され知られるように存在する。これらの実施形態では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、カメラ３００、結合板３３０４、及びロボットアーム５０６の既知の機械的ジオメトリからビューベクトルの位置、方向、及び／又は向きを特定する。

数学的特徴が存在しない他の実施形態では、一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ロボット空間においてカメラ３００とロボットアーム５０６との間の空間関係を正確に特定するルーチンを実行するように構成される。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、立体視覚化カメラ３００を開始位置に移動させ、開始位置は格納位置、再向き決め位置、又は手術位置を含み得る。立体視覚化カメラ３００は次に、カメラを開始位置から、ロボットアーム５０６の静止ベース３４０４に配置された較正ターゲットを概ね視覚化する位置に移動させる。較正ターゲットは、例えば、ロボットアーム５０６のモーションスフィア内の位置におけるカート５１０の好都合なエリアに配置し得る。較正ターゲットの幾つかの例には、例えば、一意の既知の向きで互いに対して配置することができる（二次元画像又は立体画像において）小さなスフィア又は他の一意に認識可能な物体がある。スフィアの座標は、カート５１０及び静止ベース３４０４に対して固定され、既知であり、したがって、ロボット空間において既知である。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、例えば、メモリ４１２０に座標を記憶するように構成される。

較正中、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、作業距離、倍率、立体光軸、及び／又はＩＰＤに関するビューベクトルデータ４８０７を受信する。立体視覚化カメラ３００は、較正ターゲットにおけるスフィアを同時に視覚化し、立体画像における視差の使用を通してスフィアの位置を特定するように設定される。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、カメラ３００における基準（すなわち、「カメラ空間」）に関して初期座標系、例えば、Ｘ、Ｙ、及びＺにおけるスフィアの位置を記録する。Ｘ、Ｙ、Ｚ位置は、元のロケーションに対応し得、原点又は他の既知の座標値を有するものとしてファイル又はＬＵＴにおいて定義し得る。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６はまた、ジョイントセンサからの出力データも使用して、ロボットアーム５０６におけるジョイント及びリンクの位置及び向きを特定する。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６はまた、位置情報を受信して、結合デバイス３３０４の位置及び向きも特定する。ロボットアーム５０６及び結合デバイス３３０４の位置及び向きは一緒に、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６がカメラ３００の姿勢を特定できるようにする。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、カメラにより記録された較正ターゲットのスフィアの位置及びロボットアーム５０６及び／又は結合板３３０４の位置として基づいて、カメラ空間とロボット空間との間で座標変換を実行するように構成される。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、座標変換をＬＵＴ４２０３、ロボットアーム５０６の異なるＬＵＴ、及び／又は１つ又は複数の較正レジスタに記憶し得る。

幾つかの実施形態では、カメラ３００は移動して、カート５１０、天井、壁、及び／又は手術エリアに配置された複数の較正ターゲットの画像を記録する。各較正ターゲットは、物理的なＸ、Ｙ、Ｚロケーションを識別できるようにする一意の向きを有し得る。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、各較正ターゲットに対して追加の座標変換を実行し、変換を１つ又は複数のＬＵＴ及び／又はレジスタに記憶する。

他の実施形態では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、代替の方法を使用して、ロボット空間に対してカメラ３００を較正し得る。この状況では、「較正」とは、「見当合わせ」を意味するものとして解釈され、ここで、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、見当合わせが変わり得る広い空間にわたり見当合わせを計算するように構成される。例えば、別個の立体カメラがカート５１０における較正ターゲット及びカメラ３００及び／又は患者又は手術ベッドに設置された同様の較正ターゲットの観測及び位置特定に使用されるシステムを使用することができる。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、カメラ３００をモデリングし追跡するように構成され、カメラ３００は、ビューベクトル及び作業距離と共に手術機器としてモデリングされ追跡される。ビューベクトル及び作業距離は、標的手術部位を正確に視覚化するためのパラメータを定義する。これらの他の実施形態では、他のカメラは、立体カメラ３００等の基準系におけるそのような各機器の座標系のロケーション及び向き情報を特定し報告する。次に、線形代数を使用して、互いに対する機器の姿勢及び／又はロケーションがプロセッサ４１０２及び／又はロボットアームコントローラ４１０６により計算され、それにより、ロボット空間に対してカメラ３００が較正されることになる。

幾つかの実施形態では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６はまた、結合板３３０４に関しても較正するように構成される。幾つかの場合、結合板３３０４は、ジョイントＲ７〜Ｒ９の位置に応じてアクティブ化する１つ又は複数のスイッチを含む。スイッチの既知の位置は、座標変換の一環としてプロセッサ４１０２及び／又はロボットアームコントローラ４１０６により使用される。追加又は代替として、結合板３３０４は、カメラ３００からの画像がモニタリングされている間、ロボットアーム５０６を移動させて、向きを特定することにより較正される。結合板３３０４が図３７に示されるように向けられる例では、ロボットアーム５０６は、仮定された向きに相対する方向に移動（例えば、ｚ軸に沿ってカメラ３００を移動）するように命令される。仮定された向きが、カメラ３００が下方に照準付けされた図３７に示されるものである場合、ロボットアーム５０６の下方移動により、カメラ３００が近づくにつれて画像内の物体は大きくなるはずである。例えば、画像内の物体が、代わりに横又は上／下に移動する場合、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、移動を検出し、仮定された向きが不正確であると判断するように構成される。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、エラーを生成し、正確な向きをオペレータにプロンプトし、且つ／又は画像において検出された移動に基づいて正確な向きを特定し得る。上述したように、カメラ３００の移動からの画像内の変化は、例えば、画像テンプレート照合アルゴリズムの使用を通して自動的に復号化される。幾つかの実施形態では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６によるテンプレート照合アルゴリズムの使用は、結合板３３０４におけるジョイントの向きを特定し、これは較正のためにＬＵＴに記憶される。

図４９は、本開示の実施形態例による、立体視覚化カメラ３００及び／又はロボットアーム５０６がロボット空間に対していかに較正されるかを示す図を示す。図示の実施形態では、各ジョイントＲ１〜Ｒ９及び対応するリンクは、回転機能及び／又は長さに基づいてモデリングされる。メモリ４１２０は、モデルに関連する数学的パラメータを記憶し得る。さらに、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、数学的モデルを使用して、例えば、ロボットアーム５０６及び／又はカメラ３００の現在位置を特定し得、これ（ら）は、オペレータにより提供される意図される移動に基づいてジョイントがいかに回転すべきかの計算に使用し得る。

図示の例では、ジョイントＲ１は座標位置（０，０，０）に提供される。ジョイントＲ１〜Ｒ９の間の長さはリンクの長さに対応する。図示の例では、立体視覚化カメラ３００は、９個の結合器に接続されたロボットエンドエフェクタとしてモデリングされる。図４９に示される三次元空間は、行列乗算を含み得る一連の１０個の同次変換を使用してモデリングされる。最初の６つのフレーム又はジョイントＲ１〜Ｒ６はロボットアーム５０６の順運動学を表し、ロボットアームのデナビット−ハーテンバーグパラメータを使用して計算し得る。次の３つのフレーム又はジョイントＲ７〜Ｒ９は、ロボットアーム５０６のツール先端部から結合板３３０４の先端部への変換を表す。最後のフレームＲ１０は、結合板３３０４のツール先端部から立体視覚化カメラ３００の制御点までの変換を表す。

フレーム又はジョイントＲ７は結合板３３０４のピッチジョイントを表し、０°〜９０°で変更することができる。フレーム又はジョイントＲ８は結合板３３０４のヨージョイントを表し、ヨー構成に応じて−９０°、０°、及び９０°間で変更することができる。結合板のジョイントＲ７〜Ｒ９は電圧源及び電位差計を含み得る。ロボットアーム５０６のコネクタ３４５０及び／又は結合器コントローラ４１３０は、電位差計からの電圧出力を受信するように構成されたＩ／Ｏツール先端部コネクタを含み得る。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、出力電圧を受信し、それに対応して結合板３３０４のピッチ角及びヨー角を特定するように構成される。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、結合板のピッチ及びヨー情報をロボットアーム５０６のジョイントＲ１〜Ｒ６からのセンサ出力データと結合して、フレームＲ１〜Ｒ１０の位置を計算し、ロボットアーム５０６、結合板３３０４、及び／又はカメラ３００の三次元位置を特定する。

制御点は、運動学的連鎖の一番端にあるフレーム１０を表し、どの特徴が選択されるかに基づいて位置に関して完全にプログラム可能である。例えば、オペレータが補助付き駆動特徴を選択する場合、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、制御アーム３０４の回転軸に沿ってカメラ内部にあるようにカメラ３００を表す制御点を設定するように構成される。別の例では、オペレータが標的ロック特徴を選択する場合、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、カメラ３００の制御点を光軸ビューベクトルの原点に設定するように構成される。

図４８に戻ると、ロボット空間に対してカメラ３００を較正した後、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、患者空間に対してロボット空間を較正する（ブロック４８０８）ように構成される。患者空間の較正は、立体視覚化プラットフォーム５１６が、ロボットシステムと患者との間の向きが必要な患者の正確な視覚化を行うために必要である。幾つかの実施形態では、この向きは固定される。他の実施形態では、この向きは、変化する場合、検知され、分かる。幾つかの実施形態では、患者は手術室ベッドに配置され、１つ又は複数の基準４８０９を使用してベッドに見当合わせされる。例えば、患者が脳手術を受けている場合、患者はベッドに固定され、外部フレームが患者の頭蓋骨に固定される。フレームは立体視覚化カメラ３００により観測可能であり、既知のロケーションの２つ以上の非共線形物体が同時に可視であり、それにより、フレームの位置及び向き、ひいては患者の頭蓋骨の位置及び向きを特定することが可能である較正ターゲットの配置等の配置で基準４８０９を含み得る。他の実施形態は、患者に移植され、ＭＲＩ又は同様の画像で可視の基準４８０９を使用し得る。そのような基準４８０９は、正確に患者の頭蓋骨及びＭＲＩ画像を追跡し、患者空間を表す座標系に見当合わせするのに使用することができる。さらに、他の実施形態は、患者自体に生来の特徴の画像認識を使用し得る。例えば、バイオメトリックデータ、ｉｎ−ｓｉｔｕ ｘ線、又は同様の代替モダリティ撮像を使用した顔又は同様の認識を使用して、患者の位置及び向きを精密に特定することができる。別の例では、上述したように１つ又は複数の深度マップ計算及びプロセッサ４１０２及び／又はロボットアームコントローラ４１０６により実行される表面照合機能を使用して、患者の顔表面のモデルを特定することができる。

実施形態では、ロボット空間に関する手術室ベッドの位置及び向きは固定され、特定される。幾つかの実施形態は、例えば、ベッドを既知の位置及び向きでカート５１０の付属器具に機械的に見当合わせする剛性フレームを含む。代替として、ベッドはロボットアーム５０６に関して固定することができ、基準を使用して位置及び向きを特定することができる。例えば、ロボットカート５１０及びベッドは、床にアンカーで固定され、処置の持続時間にわたり固定することができる。

カメラ３００により患者の基準４８０９を視覚化した後、ロボット空間におけるそれらの位置及び向きは、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６により復号化、記憶することができ、ここで、ロボット空間から患者空間への座標変換が可能になる。なお、ある空間から別の空間への座標系変換は一般に、選択可能であり、可逆的である。例えば、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６が離散したジョイント運動及び向きを特定できるようにするために、所望のカメラ運動又は姿勢からロボット空間に変換することがより効率的であり得る。代替的には、情報を患者空間においてディスプレイモニタ５１２上で外科医に提示することがより容易であり、より効率的であり得る。患者及びベクトルのロケーションは、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６により大半の任意の座標系のそれぞれ、例えば、カート原点、患者基準系、ＧＰＳ、及び／又は所望の他の座標系であるように変換することができる。

幾つかの実施形態では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、自動化された反復技法を使用して、ロボット／患者空間較正及び測定のこれら又は均等な方法を実行して、精度を上げ、較正時間を短縮するように構成される。例示的な実施形態では、基準に対する立体視覚化カメラ３００の変位及び向きは、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６により正確に既知である。ロボットアーム５０６の運動は正確に実行することができ、続く基準の画像は正確に分析することができる。較正パラメータの視覚化及び知識は、測定、ひいては較正を自動的に正確に実行することができるように、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６により結合することができる。これは、例えば、ある外科処置及びある患者から次の外科処置及び患者に正確な較正を維持するのに重要である。

幾つかの例では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、患者空間及び／又はロボット空間に対するロボットアーム５０６及び／又はカメラ３００の境界を決定するように構成される。境界は、ロボットアーム５０６及び／又はカメラ３００が画定されたエリア若しくは空間に接触しない又は画定されたエリア若しくは空間から出ないようにするためにソフトウェアに実装される仮想限界を表す。幾つかの例では、限界は、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６によりジョイント移動信号に適用されるスケーリング係数として、メモリ４１２０に記憶される１つ若しくは複数のＬＵＴ又はレジスタにおいて定義される。スケーリング係数の大きさは、個々の各境界への限界に近づくにつれてゼロに低減する。例えば、オペレータ入力に基づいてジョイント回転の量及び速度を決定し得る。しかしながら、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、信号を適切なジョイントに送信する前、スケーリング係数でジョイント回転をスケーリングする。加えて、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ジョイントが所望の量、移動するが、ジョイントが境界に達するまで減速するように回転量を維持し得る。スケーリング係数が適用される回転エリアにおけるジョイントに、所望の移動が境界から離れる移動である場合、スケーリング係数が適用されないことがあることを理解されたい。したがって、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、現在位置及びオペレータからの推定所望移動に基づいて、特定のジョイントにスケーリング係数を適用しながら、スケーリング係数「１」を他のジョイントに適用し得る。

スケーリング係数は厳密に０〜１であり、それにより、それらを一緒に繋げられ、ソフトウェアが無限数の可能な境界をサポートできるようにする。スケーリング係数は、境界に近づくにつれて線形に低減し得、ロボットアーム５０６が境界に近づくにつれて、ジョイントＲ１〜Ｒ９の回転を徐々に遅くさせる。他の例では、スケーリング係数は、境界に近づくにつれて指数的に低下し得る。

一般に、オペレータは通常、ディスプレイモニタ５１２上の術野又は立体画像に注目する。したがって、オペレータは通常、ロボットアーム５０６及び／又は結合板３３０４の個々のリンクの位置に気付かない。したがって、ロボットアーム５０６が限界に近づこうとしているとき又はロボットアーム５０６の別の部分に衝突しようとしているとき、常に直観的であるわけではない。したがって、ジョイント限界は常にアクティブであり得、ロボットアーム５０６の任意の部分がそれ自体に当たるか、又はジョイントをエルボロック等の特異点構成にするのを阻止し得る。一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ロボットアーム５０６の現在位置に基づいてスケーリング係数を決定するように構成される。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６はまた、どのスケーリング係数を適用すべきかを判断するために、オペレータにより提供される意図される移動命令を考慮に入れることもできる。現在の移動及び／又は予期される移動に基づいて、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、例えば、１つ又は複数のＬＵＴを使用して、ジョイント角度空間における距離に基づいてスケーリング係数を計算する。ジョイント角度空間は、ジョイントロック又はロボットアーム５０６がそれ自体に当たることを生じさせることが分かっているジョイント角度の特定の組合せを定義し得る。したがって、ジョイント角度空間決定は、互いに対するジョイントの現在の移動（及び／又は予期される移動）を特定し比較することに基づく。

ロボットアーム５０６の境界に加えて、メモリ４１２０は、ロボットアーム５０６がカート５１０に当たらないようにし、ロボットアームがディスプレイモニタ５１２に当たらないようにし、且つ／又はカメラ３００がロボットアーム５０６に当たらないようにするデカルト限界に関連する境界を記憶し得る。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、例えば、デカルト限界の決定及び／又は適用に図４９と併せて考察した座標系を使用し得る。幾つかの例では、限界は特定のリンクに相対又は係留し得る。したがって、リンクが３Ｄ空間において移動した場合、リンクの周囲の境界もそれに従って移動する。他の例では、限界は静止し、図４９に示される３Ｄ空間内で特定の座標平面又は線に固定される。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、デカルト空間においてスケーリング係数を計算又は特定し、順運動学変換を適用することにより限界を適用し得る。

一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６はまた、患者境界を決定することもでき、患者境界は、ロボットアーム５０６及び／又はカメラ３００の点が違反することができない仮想的な配置を画定する。患者境界は、境界平面のロケーションまでのロボットアーム５０６及び／又は結合板３３０４上の各位置ジョイントの距離について、デカルト空間においてスケーリング係数を計算することにより決定し得る。境界平面は、図５０の向き５００２で示されるように、非ピッチ構成と同じある垂直Ｚロケーションに配置されるＸ、Ｙ平面として実施される。図５０の向き５００４に示される半分座っている患者等のピッチ構成では、境界平面は、カメラ３００が面する方向に応じて正又は負のＸ値に配置されたＹ、Ｚ平面として設定される。

上述した一例の境界は、デフォルト境界としてメモリ４１２０に記憶し得、且つ／又は外科処置前に、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６により決定し得る。幾つかの実施形態では、特定の境界は、実行する外科処置の入力されたタイプに基づいて評価又は決定し得る。例えば、患者境界は、カメラ３００が患者を撮像し、較正情報／パラメータを使用して患者深度を特定することにより決定し得る。次に、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、患者の上又は隣の指定されたロケーションへの境界を作成し適用し得る。モニタ、手術スタッフ、又は手術機器の検出後、同様の境界を作成し得る。

例えば、境界は、より大きなサイズの器具又は接触した場合に特定のリスクを課す器具のような特定の手術器具の使用の周囲に決定することができる。一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、器具タイプの入力を受信し、且つ／又は画像分析を使用して立体画像において器具を検出し得る。他の例では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、手術器具に関連する深度情報を計算して、そのサイズ、向き、及び／又は位置を特定する。一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、手術機器の画像を図４９に関連して考察した座標系等の座標系に変換する。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６はまた、「１」未満の値を有するスケーリング係数を手術機器のロケーションに対応するエリアに適用し、それにより、ロボットアーム５０６及び／又はカメラ３００が手術器具に不注意で接触しないようにする。幾つかの場合、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、処置中、手術器具の移動を追跡し、それに従って境界を変更し得る。

図５１は、本開示の実施形態例による、境界への距離に基づいてロボットアーム５０６及び／又は結合板３３０４の回転ジョイント速度がいかにスケーリングされるかの一例を示す。グラフ５１０２はジョイントＲ１の回転速度を示し、グラフ５１０４は、スケーリング係数が値「１」から下げられる境界に近いエリアに対応する第１のゾーン５１１２及びスケーリング係数が値「０」に下げられる境界に対応する第２のゾーン５１１４に関連するショルダ角度（例えば、回転位置）５１１０を示す。

図５１は、ロボットアーム５０６、特にジョイントＲ１が少なくとも１つのリンク及び／又は立体視覚化カメラ３００を第１のゾーン５１１２に近づける際、回転速度が第２のゾーン５１１４までの距離に関して動的にスケーリングされることを示す。次に、少なくとも１つのリンク及び／又は立体視覚化カメラ３００が第２のゾーン５１１４に達すると、スケーリング係数は値「０」に下げられ、境界に向かう全ての回転ジョイント移動は停止する。換言すれば、ロボットアーム５０６及び立体視覚化カメラ３００が限界又は境界に近づくにつれて、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６はジョイントＲ１〜Ｒ９の少なくとも幾つかの回転速度を低減させ、第２のゾーン５１１４に達した（グラフ５１０２及び５１０４において２０秒と３０秒との間に示されるように）場合、最終的に速度「０」度／秒の速度に到達させる。グラフはまた、少なくとも１つのリンク及び／又は立体視覚化カメラ３００が第２のゾーン５１１４から離れて移動する場合、第２のゾーン５１１４に近づいていないため、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６がスケーリング係数「１」を使用することも示す。

幾つかの実施形態では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ディスプレイモニタ５１２又は他のユーザインターフェースにロボットアーム５０６のステータスを表す１つ又は複数のグラフィカルアイコンを表示させるように構成される。例えば、ロボットアーム５０６及び／又はカメラ３００が、スケーリング係数が値「１」を有するゾーン又はエリアに配置されている場合、緑色のアイコンを表示し得る。さらに、ロボットアーム５０６及び／又はカメラ３００が第１のゾーン５１１２内に配置されている場合、黄色のアイコンを表示して、ジョイント回転速度が減じられることを示し得る。さらに、ロボットアーム５０６が第２のゾーン５１１４又は境界／限界に達した場合、赤色のアイコンを表示して、境界を越えたそれ以上の移動が可能ではないことを示し得る。

図４８に戻ると、ロボット空間境界が決定された後、一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ロボットアーム５０６が立体視覚化カメラと動作できるようにする（ブロック４８１２）よう構成される。これは、ロボットアーム５０６及び立体視覚化カメラ３００を外科処置中に使用できるようにすることを含み得る。これはまた、補助付き駆動及び／又は標的ロック等の特徴を含むこともできる。追加又は代替として、これは、図４１の入力デバイス１４１０の１つ又は複数における１つ又は複数のユーザ制御を可能にすることを含み得る。ロボットアーム５０６が立体視覚化カメラ３００と共に可能になった後、一例の手順４８００は終了する。立体視覚化プラットフォーム５１６が再初期化される場合、故障検出を受ける場合、又は較正を検証することができない場合、一例の手順４８００を繰り返し得る。

Ｄ．立体視覚化カメラ及びロボットアーム動作の実施形態
一例の立体視覚化カメラ３００は、ロボットアーム５０６及び／又は結合板３３０４と併せて動作して、強化された視覚化特徴を提供するように構成される。より詳細に後述するように、強化された特徴は、フォーカスの拡張、焦点先端部（ｆｏｃａｌ ｔｉｐ）位置決めの自動化、画像内の物体間の距離測定の提供、視覚化と連合したロボット運動の提供、垂れ下がり補償、画像融合、及び視覚化位置／向きの記憶を含む。強化された視覚化特徴はまた、ロボットアーム５０６の補助付き駆動機能及びロボットアーム５０６及び／又は結合板３３０４の向きが変更可能でありながら、カメラを特定のビューにロックできるようにする標的ロック機能を含むこともできる。

１．フォーカス拡張実施形態
幾つかの実施形態では、ロボットアーム５０６及び／又は結合板３３０４は、カメラ３００のフォーカス拡張を提供し得る。図４３に関連して上述したように、立体視覚化カメラ３００は、作業距離を変更する主対物レンズ組立体７０２を含む。手術部位における物体にフォーカスするために、主対物レンズ組立体７０２は、物体の直前から物体を超えたところまで焦点距離を変更する。しかしながら、幾つかの場合、主対物レンズ組立体７０２は、最良フォーカスを達成する前、前部作業距離レンズ４０８の機械的限界に達する。

一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、機械的限界に達したときを検出し、且つ／又はレンズ４０８の機械的限界に達しようとしていると判断し、それに従ってレンズ４０８の代わりにロボットアーム５０６の位置を調整するように構成される。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ロボットアーム５０６を使用して、カメラ３００のビューベクトルを計算し、光軸に沿ってロボットアーム５０６を作動させることによりフォーカスを拡張するように構成される。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、立体視覚化カメラ３００の上記較正パラメータを使用して、フォーカスを達成するのに必要な距離を特定する。例えば、上述したように、前部作業距離レンズ４０８の位置は、標的物体までの主対物レンズ組立体７０２の物理的な作業距離にマッピングされる。この距離は、カメラ３００の中心が標的物体からどれくらい遠いかについての推定を提供する。さらに、較正パラメータは、前部作業距離レンズ４０８のモータ又はエンコーダステップと作業距離との間のマッピングを含み得、特定の作業距離又はフォーカスの達成に必要な距離の推定を提供する。したがって、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、前部作業距離レンズ４０８の現在のエンコーダ値を読み取り、カメラ３００から標的物体までの垂直距離を表すメートル数を特定し得る。換言すれば、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、レンズ移動（エンコーダカウント単位）をロボット空間内の物理的距離に変換する。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は次に、ロボットアーム５０６を光軸に沿って特定された距離移動させるためのジョイント回転速度、方向、及び／又は持続時間（例えば、移動シーケンス）を決定する。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は次に、１つ又は複数の信号を移動シーケンスに対応する適切なジョイントに送信して、ロボットアーム５０６にフォーカス拡張を提供させる。幾つかの場合、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、信号がロボットアーム５０６及び／又は結合板３３０４のジョイントＲ１〜Ｒ９に送信される前、スケーリング係数を適用し得る。

フォーカスの拡張がロボットアーム５０６の自動移動を生じさせることを理解されたい。換言すれば、ロボットアーム５０６は、最良フォーカス点を通してカメラ３００の運動を継続することができる。加えて、ロボットアーム５０６の移動は、ロボットアームを移動させるオペレータからの入力なしで、むしろフォーカスの変更に関するオペレータ画像から行われる。幾つかの場合、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、クリアな画像を維持するようにフォーカスを自動的に調整し得る。

幾つかの実施形態では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、入力デバイス１４１０を介した１つのボタン押下に応答してロボットアーム５０６をカメラの作業距離に沿って移動させるように構成される。この特徴は、オペレータが主対物レンズ組立体７０２のモータ位置を修正し、ロボットアーム５０６及び／又は結合板３３０４を移動させることによりフォーカスを得られるようにする。この「ロボットオートフォーカス」特徴又は手順は、図４３に関連して上述したように、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６が主対物レンズ組立体７０２の正面から標的までの距離を推定又は特定することにより達成される。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、特定された距離をフィードバック法則を用いて、特定された距離が値「０」に達するまで、ロボットアーム５０６の垂直速度（又はカメラ３００の光軸に沿った速度）を命令するように構成される。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、処置中、このオートフォーカスアルゴリズムを随時使用して、標的物体にフォーカスし得る。幾つかの実施形態では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、オートフォーカスの方向をサーチする際、オートフォーカスがシード又は開始点として使用された最後からのロボットアーム５０６及び／又は結合板３３０４の移動を使用し、それにより、標的物体にフォーカスする速度及び精度を改善し得る。

一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６が、それぞれが位置、フォーカス、作業距離、及び／又は倍率にマッピングされたエンコーダカウントを有する各モータにより移動可能であり得る前部レンズセット７１４、レンズバレルセット７１８、及び／又は最終光学セット７４２の移動への追加又は代替として、ロボットアーム５０６及び／又は結合板３３０４を移動させるように構成し得ることを理解されたい。例えば、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、前部レンズセット７１４、レンズバレルセット７１８、及び／又は最終光学セット７４２のいずれかが移動限界に近づこうとしている場合、ロボットアーム５０６を光軸に沿って移動させ得る。幾つかの例では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ロボットアーム５０６をまず、概ねフォーカス又はフォーカス近傍である位置に移動させ、次に前部レンズセット７１４、レンズバレルセット７１８、及び／又は最終光学セット７４２を調整して、標的画像に略理想的にフォーカスし得る。

２．フォーカス先端部自動位置決めの実施形態
幾つかの実施形態では、ロボットアーム５０６及び／又は結合板３３０４は、立体視覚化カメラ３００と併せて動作して、フォーカス先端部自動位置決めを提供し得る。これらの実施形態では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、特定の画像及びその内容の情報又はフィードバックなしで標的手術部位の視覚化に向けてカメラ３００を位置決めするように構成される。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、図４２及び図４９に関連して上述した、較正されたカメラモデルパラメータを使用して、開ループカメラ位置決めを実行し得る。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、カメラの焦点又はフォーカス先端部がシーン内にあるように、ロボットアーム５０６に立体視覚化カメラ３００を位置決めさせ得る。立体視覚化カメラ３００は、ロボットアーム５０６及び／又は結合板の姿勢に関する較正情報及びカメラ３００の光学較正パラメータに基づいて、座標系に関してカメラ３００の照準方向を決定する。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ロボットアーム５０６の座標系に関してカメラ３００の立体光軸と一致して位置合わせされる、幾何学的に定義されるビューベクトルにより照準を特徴付け得る。

幾つかの実施形態では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、初期化ルーチンを実行して、較正パラメータ及び／又は他のメモリデータを、先端部位置決めに使用し得る実際の物理的な基準位置に位置合わせするように構成される。例えば、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ロボットアーム５０６及び／又は結合板を、全ての位置データフィールドが０（又は三次元空間では０，０，０）に設定される「位置０」におけるハードスポットに移動させ得る。それ以上の運動は、この点に相対して行われ、位置データは、例えば、ロボットアーム５０６及び／又は結合板３３０４の種々のジョイントモータのエンコーダカウントに従って更新される。

他の実施形態では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、１つ又は複数の視覚化パラメータに基づいてカメラ３００の先端部位置を決定又は設定し得る。例えば、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ビューベクトルの基端部（例えば、カメラ３００を照準決めるための「開始点」）として投影中心ロケーションを使用し得る。幾つかの手術システムでは、手術機器におけるこの点は、「後（ｈｉｎｄ）」点と呼ばれ、先端部に関連して提供し得る。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、先端部及び後点からのビューベクトル方向を計算して、ロボットアーム５０６の座標系に関するカメラ３００の照準を決定する。

追加又は代替として、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、投影中心から立体画像の焦点面の範囲を計算する焦点距離を決定し得る。焦点面における画像の中心は「先端」点である。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、較正された作業距離を使用して、カメラ３００から先端点までの実際の物理的な空間距離を決定し得る。さらに、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、倍率較正に関して上述したように、倍率を決定し得る。

３．距離測定の実施形態
幾つかの実施形態では、ロボットアーム５０６及び／又は結合板３３０４は、立体視覚化カメラ３００と併せて動作して、立体画像における物体間の距離測定及び／又は深度測定を提供し得る。例えば、プロセッサ４１０２は、ロボット空間に変換された光学較正パラメータを使用してロボットアーム５０６の座標系に関してカメラ３００の焦点又はフォーカス先端部の中心を位置関係的に決定し得る。図４５及び図４６に関連して上述したように、画像における任意の点のビューベクトル及び左／右視差情報はプロセッサ４１０２により使用されて、三角測量を通して先端部又は画像における任意の他の点に関する三次元におけるその位置を計算することができる。この三角測量により、プロセッサ４１０２は、画像における任意の点をロボット座標系にマッピングできるようになる。したがって、プロセッサ４１０２は、ロボットアーム５０６の同じ座標空間に関して複数の物体のロケーション及び／又は深度或いは／並びに物体の異なる部分のロケーションを計算することができ、それにより、物体間で距離測定及び／又は深度測定を行えるようになる。

プロセッサ４１０２は、立体画像上に且つ／又は立体画像と併せて視覚的に距離及び／又は深度測定情報を表示させ得る。幾つかの場合、オペレータは入力デバイス１４１０を使用して、画面上の物体を選択し、又は指若しくは手術機器を使用して患者における実際の物体を直接指すことにより２つ以上の物体を選択し得る。プロセッサ４１０２は選択の指示を受信し、それに従って物体の座標及び物体間の距離を特定する。プロセッサ４１０２は次に、立体画像と併せて定規グラフィック及び／又は距離を示す値（及び／又は選択された物体の表示）を表示し得る。

さらに、物体の追跡により、前に撮像された（又は前に他の画像で提供された）他の物体のロケーションを記憶し、後に比較することができる。例えば、カメラ３００は、物体の少なくとも幾つかが現在ＦＯＶの外部にあるロケーションに移動し得る。しかしながら、オペレータは、ＦＯＶ内の物体と、現在、ＦＯＶ外部にある前に撮像された物体との間の距離を特定するようにプロセッサ４１０２に命令することができる。

幾つかの実施形態では、プロセッサ４１０２は、ＭＲＩ画像、Ｘ線画像、手術テンプレート又はガイドライン、術前画像等の代替モダリティ視覚化からのデジタル画像又はモードと融合するために、物体の座標を使用し得る。一例にプロセッサ４１０２は、座標面における物体のロケーション及び深度情報を使用して、代替モダリティ視覚化を適宜スケーリング、向き決め、且つ位置決めするように構成される。プロセッサ４１０２は、表示される立体画像に同一の特徴（例えば、物体）を有する代替モダリティ視覚化の少なくとも一部を選択し得る。例えば、プロセッサ４１０２は、画像分析ルーチンを使用して、立体画像において血管パターン、傷、変形、又は他の見ることができる物理的な構造若しくは物体を見つけ得る。プロセッサ４１０２は次に、代替モダリティ視覚化において同一の特徴を見つけ得る。プロセッサ４１０２は、同一の特徴を含む代替モダリティ視覚化の一部を選択する。プロセッサ４１０２は次に、立体画像における座標、深度、及び／又は特徴間の距離を、代替モダリティ視覚化の選択された部分のスケーリング、回転、及び／又は向き決めに使用し得る。プロセッサは次に、代替モダリティ視覚化の調整された部分を立体画像と融合し得る。プロセッサ４１０２は、識別可能な物体が互いに対して及び／又はＦＯＶに対していかに移動するかを追跡し、それに従って融合画像をいかに更新すべきかを決定し得る。例えば、別の手術ロケーションへのカメラ３００の移動は、プロセッサ４１０２に、その別の手術ロケーションの立体画像との融合に術前画像の別の部分を選択させ得る。

幾つかの場合、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ロボットアーム５０６を移動させて、ＦＯＶ内の物体の移動を追跡させ得る。プロセッサ４１０２は、物体の座標位置を使用して、移動又は暗化（ｏｂｆｕｓｃａｔｉｏｎ）を検出する。移動又は暗化の検出に応答して、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、物体の移動を追跡し、又は暗化を解消するために、ロボットアーム５０６及び／又は結合板３３０４がいかに移動すべきかを決定するように構成される。例えば、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ロボットアーム５０６を円形路で移動させて、複数の方向から患者の網膜上の点を視覚化して、器具からの反射又は暗化を回避し得る。

４．画像融合の実施形態
上述したように、プロセッサ４１０２は、代替モダリティからの画像をライブ立体画像に融合するように構成される。例えば、外科医は、深い脳腫瘍を有する患者に対して手術を行っている場合、プロセッサ４１０２が、ディスプレイモニタ５１２へのカメラ３００からのライブ画像として、適切なロケーション、適切な深度、且つ立体視点における脳腫瘍のＭＲＩ画像を視覚化するように命令することができる。幾つかの実施形態では、プロセッサ４１０２は、ＦＯＶ内の１つ又は複数の物体の距離及び／又は深度測定情報を代替モダリティビューとの融合に使用するように構成される。プロセッサ４１０２はまた、図４２に関連して考察した較正ステップで計算され、１つ又は複数のＬＵＴに記憶された立体光軸（例えば、ビューベクトル）、ＩＰＤ、及び／又はカメラモデルパラメータを使用して撮像融合を提供することもできる。光学較正パラメータの使用により、プロセッサ４１０２は、まるで画像が立体視覚化カメラ３００により取得されたかのように代替モダリティ画像を表示することができる。プロセッサ４１０２は、カメラの光学較正パラメータを使用して、カメラ３００の適用される作業距離及び倍率を所与として、代替モダリティ画像が手術部位における焦点から距離Ｚにおいて見られるように、カメラ３００の有効ＩＰＤに基づいて代替モダリティ画像をモデリング、スケーリング、又は変更し得る。

図５２は、本開示の実施形態例による、代替モダリティ視覚化からの画像を立体画像と融合する一例の手順５２００の図を示す。手順５２００について図５２に示される流れ図を参照して説明するが、手順５２００に関連するステップを実行する多くの他の方法が使用可能なことを理解されたい。例えば、ブロックの多くの順序は変更し得、特定のブロックは他のブロックと結合し得、記載されるブロックの多くは任意選択的なものである。さらに、手順５２００に記載される動作は、例えば、図１４の一例の立体視覚化カメラ３００の光学要素１４０２、画像捕捉モジュール１４０４、モータ及び照明モジュール１４０６、情報プロセッサモジュール１４０８、及び／又はジョイントＲ１〜Ｒ９、及び図４１のロボットアームコントローラ４１０６を含め、複数のデバイスの間で実行し得る。例えば、手順５２００は、プロセッサ４１０２のメモリ１５７０に記憶されたプログラムにより実行し得る。

手順５２００の一例のプロセッサ４１０２は、光学較正パラメータを使用して、例えば、前に生成された患者の三次元ＭＲＩデータをカメラ３００により記録された立体画像として適切な視点を有する立体画像としてレンダリングするように構成される。プロセッサ４１０２は、例えば、図４１のデバイス４１０４からＭＲＩデータ等の代替モダリティ視覚化を受信し得る（ブロック５２０２）。プロセッサ５２０２はまた、入力デバイス１４１０を介して、代替モダリティ視覚化を立体視覚化カメラ３００により記録された立体画像と融合すべきであることを示す入力５２０３を受信することもできる（ブロック５２０４）。

手順５２００中、外科医がカメラ３００を所望の向きで外科処置の位置に位置決めした場合、姿勢データ５２０５がプロセッサ４１０２により取得される（ブロック５２０６）。姿勢データ５２０１は、ロボットアーム５０６、結合板３３０４、及び／又は立体視覚化カメラ３００の位置を含み得る。プロセッサ４１０２はまた、図４２のＬＵＴ４２０３つ等の１つ又は複数のＬＵＴから、カメラ３００に関連する倍率及び作業距離光学較正パラメータ５２０７にアクセスする（ブロック５２０８）。プロセッサ４１０２は、姿勢データ５２０５を倍率及び作業距離光学較正パラメータ５２０７と併せて使用して、カメラ３００の立体軸及びＩＰＤを決定する（ブロック５２１０）。プロセッサ４１０２は、姿勢データ、立体軸データ、ＩＰＤデータ、及び／又は光学較正パラメータを適用して、ＭＲＩデータの少なくとも一部を選択し、且つ／又は選択された部分が立体視覚化カメラ３００により見られたものとして患者の脳のビューの視点で提供されるようにＭＲＩデータの選択された部分を変更、スケーリング、向き決め、分割等する（ブロック５２１２）。プロセッサ４１０２は、立体光軸ビューベクトル及びＩＰＤを適用して、ＭＲＩデータの選択された部分をカメラ３００の現在ライブビューに対応する立体画像にレンダリングする（ブロック５１１４）ように構成される。プロセッサ４１０２は次に、本明細書で考察されるように、立体ＭＲＩ画像をカメラ３００からのライブ立体画像と融合し得る（ブロック５２１６）。

上述したように、プロセッサ４１０２は、レンダリングされたＭＲＩデータの位置決め又は立体視覚化カメラ３００からの立体画像との融合に物体又は特徴を使用し得る。例えば、プロセッサ４１０２は、１つ又は複数の画像分析ルーチンを使用して、立体画像における別個の特徴又は物体を識別し、レンダリングされた立体ＭＲＩデータにおいて同じ別個の特徴を見つけ、特徴又は物体が位置合わせされ、同じ縮尺、サイズ、深度、向き等を有するように、レンダリングされた立体ＭＲＩデータをカメラ立体画像の適切な部分に重ね得る。プロセッサ４１０２は、レンダリングされた立体ＭＲＩデータを少なくとも部分的に透明にして、ライブ画像も見られるようにし得る。追加又は代替として、プロセッサ４１０２は、レンダリングされた立体ＭＲＩデータの境界において陰影を調整して、レンダリングされた立体ＭＲＩデータとカメラ立体画像との間の視覚的コントラストを低減し得る。次に、図５２の一例の手順５２００は終了し得る。

一例の手順５２００は、カメラ３００の立体画像に相対して正確なロケーションに外科医が脳腫瘍を視覚化できるようにする。外科医は、外科処置を通して特に部分的にこの融合視覚化を使用し得る。例えば、外科医は、現在レベルの切開下の「ｘ線ビジョン」として最もよく説明されるように、まだ露出されていない腫瘍を見ることができる。ライブ又はレンダリングされた立体ＭＲＩ画像の透明度の制御は、融合画像の明確さを最適化するように入力デバイス１４１０を介して調整し得る。それに従って一例の手順は、より安全でより正確且つ効率的な腫瘍の切除を可能にする。

幾つかの実施形態では、ＦＯＶ、焦点、作業距離、及び／又は倍率が変わった場合、手順５２００を繰り返し得る。これらの実施形態では、プロセッサ４１０２は、更新された姿勢情報を使用し、ルックアップテーブルから対応する立体軸及びＩＰＤを抽出して、ＭＲＩデータを更新された正確な立体画像に再レンダリングするように構成される。プロセッサ４１０２は、ライブビュー及び対応するＭＲＩデータが適切な位置、深度、及び向きに配置されるように、新たにレンダリングされたＭＲＩデータを現在の立体画像に融合するよう構成される。

幾つかの実施形態では、一例のプロセッサ４１０２は、立体視覚化カメラ３００、ロボットアーム５０６、及び／又は結合板３３０４と共に動作して、ライブ断面融合視覚化を生成するように構成される。手術部位の断面視覚化は、他の方法では利用可能ではない大きく改善された視点を外科医に提供する。図５３は、患者の頭部内部を仮想線で示す膠芽細胞腫５３０２を有する患者５３００の図を示す。特に、膠芽細胞腫５３０２は、患者の脳５３０４内にあることがあり、明るい仮想線で示される。図５３の図は、例えば、ＭＲＩデバイスからの術前診断画像に典型的なものであり、多くの画像スライスが積層され、患者の頭蓋５３０６の内部の３Ｄモデルがレンダリングされ視覚化される。

図示の例では、脳手術を通して膠芽細胞腫５３０２を除去すべきである。図５４は、頭蓋５３０６へのアクセスを提供するために開頭処置５４００を受けている患者５３００の斜視図の図を示す。手順５４００は、手術機器５４０２を使用した脳切除及び牽引も含む。一般に、手術アクセス部位５４０４は、膠芽細胞腫５３０２にアクセスするために深い円錐形に作られる。

図５５は、本開示の実施形態例による、立体視覚化カメラ３００及びロボットアーム５０６を含み、開頭処置５４００を視覚化する立体視覚化プラットフォーム５１６の図を示す。示されるように、開頭処置５４００は、ロボットアーム５０６が、頭蓋５３０６の上部を通して円錐手術部位５４０４の視覚化軸５５００に沿って立体視覚化カメラ３００を照準付けるように位置決めされるよう準備される。手術を行っている外科医のビューは一般に、図５７に示されるように、頭蓋５０６の上部を通してである。図７から理解することができるように、手術の深度及び例えば手術機器５４０２の先端部は見ることが難しい。

図５５に示される一例の立体視覚化カメラ３００は、円錐手術アクセス部位の軸５５００を下に見た高精度立体画像を提供する。上述したように、アクセス部位において両ビューに共通する全ての点でカメラ３００の左ビューと右ビューとの間の視差情報がプロセッサ４１０２により使用されて、例えば、物体面等の既知の基準深度からの各点の深度を特定する。図示の例では、左ビューと右ビューとの間の視差は値「０」に等しく、それにより、プロセッサ４１０２は画像における各点の深度マップを特定することができる。深度マップは、まるでマップが異なる角度から見られたかのようにプロセッサ４１０２により再レンダリングすることができる。さらに、プロセッサ４１０２は、外科医及び／又はオペレータからの命令を受信すると、深度マップの少なくとも一部を透明にするように構成される。図示の例では、図５７の断平面ＡＡ下の深度マップの一部は、プロセッサ４１０２により透明にすることができ、それにより、プロセッサ４１０２がライブ手術アクセス部位５４０４の断面図を生成できるようにする。

図５６は、円錐形手術アクセス部位５４０４の局部透視図の図を示す。図示の手術アクセス部位５４０４は、この考察で明確にするために、段付き円錐セグメントを含む。この例では、部位５４０４の掃引円錐角は角度「α」で示されている。

図５８は、開頭処置５４００の円錐形手術アクセス部位５４０４の図を示す。手術機器５４０２のサイズ及び形状の事前知識は、その位置、方向、及び／又は向きの画像認識と共に、プロセッサ４１０２が図５８に示される断面図で画像データを生成できるようにする。図５７に表される立体ビューにおける機器５４０２の認識により、図５８の断面図における精密な配置及び例えば、患者の脳５３０４の手術中、外科医には見えない機器の下側の視覚化が可能になる。

幾つかの実施形態では、プロセッサ４１０２は、膠芽細胞腫５３０２の画像を準ライブ又はライブ立体画像と融合するように構成される。上述したように、ロボットアーム５０６とカメラ３００との組合せは、ロボット基準系又はロボット空間に対するビューの高精度の位置、方向、及び／又は向き情報を提供する。ロボットアーム５０６及びカメラ３００を患者５３００の基準系に見当合わせ又は較正した後、手術アクセス部位５４０４の正確な位置、方向、及び／又は向き情報及び患者に対するそれぞれの位置がプロセッサ４１０２により生成される。図５９に示されるように、プロセッサ４１０２は画像融合を使用して、膠芽細胞腫５３０２のＭＲＩ画像の選択部分を断面ビューに重ねる。加えて、画像融合は、例えば、脳脈管又は画像への方眼が望まれる他の構造を含む他の関連するＭＲＩ画像の視覚化を可能にする。例示的な外科処置は、外科医が、機器５４０２の安全なスペーシング及びポジショニングに加えて、膠芽細胞腫５３０２の深度ロケーションを見て理解することができる状態で進められる。

図５９は、手術アクセス部位５４０４の断面図の図を示す。この例では、膠芽細胞腫５３０２の一部５３０２’は立体視覚化カメラ３００から見える。図６０は、図５７の平面ＡＡに直交する断面ビューの図を示す。図は、手術アクセス部位５４０４のライブビューと融合されたＭＲＩデータに基づいて、プロセッサ４１０２により生成された断面ビューを示し得る。プロセッサ４１０２による深度マップの使用により、図６１に示されるように、種々の所望の断平面及び断平面の組合せでの手術アクセス部位５４０４のレンダリングが可能になる。レンダリングにより、プロセッサ４１０２は、可視部分５４０２’及びＭＲＩデータからの残りの部分を含む完全な膠芽細胞腫５３０２を表示することができる。プロセッサ４１０２は、カメラ３００の視点から又は図６１に示されるように、断面ビューとして視覚化を表示し得る。

５．視覚化が連合したロボット運動の実施形態
幾つかの実施形態では、一例のプロセッサ４１０２は、ロボットアームコントローラ４１０６、立体視覚化カメラ３００、ロボットアーム５０６、及び／又は結合板３３０４と関連して動作して、視覚化をロボット運動と連合させる。幾つかの例では、プロセッサ４０１２及び／又はロボットアームコントローラ４１０６は閉ループで動作して、ロボット運動に基づいて連合視覚化を提供する。これらの例では、プロセッサ４０１２及び／又はロボットアームコントローラ４１０６は、特定の画像及びその内容（例えば、物体、識別可能な特徴等）に基づいて手術部位の視覚化に向けてロボットアーム５０６、結合板３３０４、及び／又はカメラ３００を位置決めするように構成される。上述したように、ロボットアーム５０６及びカメラ３００の位置は、プロセッサ４０１２及び／又はロボットアームコントローラ４１０６に既知である。加えて、カメラにより記録された画像データは立体であり、深度データを提供する。その結果、プロセッサ４０１２及び／又はロボットアームコントローラ４１０６は、あらゆる視覚化点の患者又はロボット三次元空間内のロケーションを特定することができる。したがって、ロボットアーム５０６がカメラ３００を所望の方向に、初期画像を有する初期位置から移動させると、所望の画像変化が第２の移動後の画像で見られることが予期される。

代替的には、予期される移動後画像は、所望の移動を表す式を初期画像データに適用するように構成されたプロセッサ４１０２及び／又はロボットアームコントローラ４１０６により較正することができ、それにより、計算された第２の画像が生成される。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、上述したように、テンプレート照合ルーチン又は関数を使用して移動後の実際の画像を計算された画像と比較する。誤差が検出される場合、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ロボットアーム５０６及び／又はカメラ３００をそれに従って動かすことにより誤差を補正することができる。例えば、初期画像及びオペレータから受信される所望の移動「１００ピクセル右へ」を所与として、理論的に移動した画像の画像データは、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６による１００ピクセルの右シフトとして計算することができる。次に、開示されたように、種々の調整されたロボットジョイントへのコマンドを実行して、ロボットアーム５０６及び／又はカメラ３００を理論上の望ましい位置に再配置することにより、物理的な移動が行われる。第２の画像がカメラ３００により記録され、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６により、例えば、テンプレート照合関数又はその均等物を使用して計算された画像データと比較される。移動が正確な場合、データはカメラ３００の先端部において１００％相関を示し、両画像は完全に位置合わせされる。しかしながら、実際の画像データが別のロケーション、例えば、１０１ピクセル右及び５ピクセル上に最良の相関を示す場合、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６により移動を変更して、ロボットアーム５０６を介してカメラ３００を１ピクセル左及び５ピクセル下に物理的に移動させることにより誤差を補正することができる。

６．垂れ下がり補償の実施形態
幾つかの実施形態では、ロボットアーム５０６及び／又は結合板３３０４のジョイントＲ１〜Ｒ９の少なくとも幾つかは、幾らかの垂れ下がりを受け得る。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ロボットアーム垂れ下がりの補正を提供するように構成し得る。幾つかの場合、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、運動精度がロボットアーム５０６の運動範囲にわたり保たれるように、一連の小さな動きで垂れ下がり補償を実行するよう構成される。例えば、垂れ下がりを特徴付けなくすために、垂れ下がり補償は、特定のロボットジョイントを運動させる運動方向において実行されて、実際のロボットジョイント回転位置の関数として誤差を分離する。カメラ３００の負荷重量をモーメントアーム（又はリンク）長で乗算することにより計算されるトルクモーメントと誤差を比較することにより、そのジョイントのコンプライアンスを特定することができる。代替的には、ジョイントコンプライアンスは、分析技法例えば、有限要素解析（「ＦＥＡ」）を使用して計算し得る。

上記コンプライアンス特徴付けを全ての回転位置における全てのジョイントについて使用し記憶して、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、特定のカメラ位置での全体垂れ下がりを計算し得る。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ＬＵＴ及び／又は較正レジスタへの各カメラ位置の垂れ下がり補正係数を特定し得る。さらに、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、垂れ下がり補正が移動コマンド／信号に組み込まれるように、垂れ下がり係数をロボットアーム移動コマンド又は移動シーケンス（スケーリング係数の適用前又は適用後）に適用し得る。補正係数は、進行中の運動手順で計算し得、それにより、カメラ３００の正確な追跡及び追従を可能にする。この補正係数は更に、立体視覚化プラットフォーム５１６の較正／位置決めのための第２のカメラの必要性をなくし、カメラ３００に基準ターゲットを有する必要性をなくし、ひいてはドレープインターフェースの問題をなくす。

７．視覚化位置／向きの保存の実施形態
幾つかの実施形態では、一例のプロセッサ４１０２は、立体視覚化カメラ３００の特定の向き及び／又は位置に戻るために、視覚化パラメータを保存するように構成される。視覚化パラメータは、立体視覚化カメラ３００、ロボットアーム５０６、及び／又は結合板３３０４のビューベクトル、ロケーション、倍率、作業距離、フォーカス、位置、及び／又は向きを含み得る。

一例では、外科医は、可視照明下で血管の一部の吻合中、小さな構造の高倍率視覚化を望むことがある。外科医は次に、開存性をチェックするために、赤外線照明下で血管全体のより広いビューにズームアウトしたいことがある。外科医は次に、縫合を完了するために、拡大視覚化に戻り得る。この例では、プロセッサ４１０２は、各位置の視覚化パラメータを保存するように構成される。プロセッサ４１０２は、２秒、５秒、３０秒等の時間期間にわたり連続して見られたロケーションに対応する位置を記憶し得る。プロセッサ４１０２はまた、入力デバイス１４１０を介した外科医からの命令を受信した後、位置を記憶することもできる。

プロセッサ４１０２は、記憶したロケーション及び／又はウェイポイントのリストを表示し得る。記憶されたロケーションを選択すると、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ロボットアーム及び／又は結合板３３０４を前のロケーションに移動させ、前に設定されたように、光照明及びフィルタリングを含め、光学パラメータを調整する。そのような構成により、外科医は、処置の表示された画像から目を離さずに又は手及び機器を部位から移動させずに、記憶された全てのロケーションを連続してシームレスに見ることができる。

幾つかの実施形態では、プロセッサ４１０２は、外科処置前、オペレータがウェイポイント又は位置／向きを作成できるようにするよう構成し得る。ウェイポイントはシーケンスで提供し得、それにより、プロセッサ４１０２は、処置中、オペレータから進む入力を受信した後、指定されたウェイポイントを通って進むことができる。プロセッサ４１０２は、タッチスクリーン入力デバイス１４１０ａを介してロボットアーム５０６、結合板３３０４、及び／又はカメラ３００の三次元表現を提供して、オペレータが立体視覚化プラットフォーム５１６を仮想的に位置決めできるようにし得る。これは、倍率、作業距離、及び／又はフォーカスを仮想化された患者に関連して且つ／又は患者の代替モダリティ視覚化に基づいて提供することを含み得る。プロセッサ４１０２は、視覚化パラメータを例えばメモリ１５７０及び／又は各ウェイポイントのメモリ４１２０に記憶するように構成される。

幾つかの実施形態では、プロセッサ４１０２は、特定の処置に固有の特定の視覚化を実行するように構成される。例えば、プロセッサ４１０２における画像認識機能を使用して、カメラ３００を対象物体と自動的に位置合わせする。手術部幾つかの画像はプロセッサ４１０２により前の画像又は標的物体の画像と比較されて、立体画像内の所望の物体並びにその位置及び向きの認識を提供する。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、例えば、ロボットアーム５０６を物体に向けて移動させ、物体に向けてカメラ３００をズームさせ、特定の物体及び処置に所望の画像ビュー属性を設定するように構成される。例えば、眼科では、例えば、患者の網膜の視神経頭を画像認識から見つけることができるように、ライブ網膜画像を保存された画像と比較することができる。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は次に、ロボットアーム５０６及び／又は結合板３３０４を自動的に移動させ、カメラ３００の先端部が診断する視神経頭を指すようにカメラ３００をフォーカスし、且つ／又はカメラ３００の倍率を変更する。プロセッサ４１０２は次に、カメラ３００及び／又はモニタ５１２を赤変なしの画像表示に向けて設定し得、網膜の特徴を周囲組織からより容易に区別できるようにする。

記憶された視覚化の保存及び記憶された視覚化へのリターンに加えて、あるビューから別のビューへの運動パスも一例のプロセッサにより保存することができる。上述した吻合例では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ロボットアーム５０６及び／又はカメラ３００に高倍率下で血管の全長を辿らせ、動脈瘤又は他の状況をチェックし得る。プロセッサ４１０２は、所望のように連続脈管を認識し辿るように構成し得る。プロセッサ４１０２は、テンプレート照合ルーチンを限られた組のピクセルに対して実行して、ロボットアーム５０６及び／又はカメラ３００の運動方向を能動的に決定し得る。

一例のプロセッサ４１０２はまた、異なる視角からなされた物体の視覚化内の運津パスをプログラムし記憶することもできる。例えば、患者の目の眼科隅角検査は、眼内の点の回りを旋回するようにプロセッサ４１０２及び／又はロボットアームコントローラ４１０６をプログラムすることにより実行することができる。この例では、ロボットアーム５０６は、患者の目が多くの視角から見えるように一般的に円錐運動でカメラ３００を掃引する。手術部位視覚化のそのような運動は、照明からの疑似反射を除外するか、又は代替視角で障害物周囲を見るのに最良の角度を選択するのに使用することができる。

幾つかの実施形態では、プロセッサ４１０２は、深度マップ計算において遮蔽を低減するように構成される。遮蔽は、第１のビューが他方のビューとは異なる幾らかの部分を見る、立体画像の２つのビューの視差に起因して深度マップ計算に固有である。その結果、各ビューは他のビューの幾らかの部分を見ない。ロボットアーム５０６を種々の配置間で移動させ、画像ピクセルの三次元ロケーションの知識を使用しながら深度マップを再計算することにより、遮蔽が低減する。深度マップは、既知の運動ステップが実行された後、予期されたマップ変更が計算された後、誤差が差により特定された後、及び平均マップが構築された後、マップを反復的に計算することにより深度マップをより正確にし得る。

Ｅ．補助付き駆動の実施形態
幾つかの実施形態では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、メモリ１５７０及び／又は４１２０に記憶された命令により定義される１つ又は複数のアルゴリズム、ルーチン等を実行して、立体視覚化カメラ３００を動かすためにオペレータにより与えられた、検出された力に基づいて、ロボットアーム５０６及び／又は結合板３３０４が電動ジョイント移動を提供できるようにするよう構成される。これらの実施形態では、補助付き駆動特徴は、立体視覚化カメラ３００を所望のロケーション及び／又は向きに移動させることにより、ロボットアーム５０６を外科医の延長として動作できるようにする。後述するように、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、オペレータにより付与される力／トルク／移動及びアームジョイントの位置をモニタして、オペレータの意図を推測し、それに従ってロボットアーム５０６及び／又は結合板３３０４を移動させるように構成される。

図６２は、本開示の実施形態例による、立体視覚化カメラ３００の補助付き駆動を提供するアルゴリズム、ルーチン、又は手順６２００を示す図を示す。手順６２００について図６２に示される流れ図を参照して説明するが、手順６２００に関連するステップを実行する多くの他の方法が使用可能なことを理解されたい。例えば、ブロックの多くの順序は変更し得、特定のブロックは他のブロックと結合し得、記載されるブロックの多くは任意選択的なものである。さらに、手順６２００に記載される動作は、例えば、図１４の一例の立体視覚化カメラ３００の情報プロセッサモジュール１４０８及び／又は図４１のジョイントＲ１〜Ｒ９及びロボットアームコントローラ４１０６を含め、複数のデバイス間で実行し得る。幾つかの例では、手順６２００は、ロボットアームコントローラ４１０６のメモリ４１２０に記憶されたプログラムにより実行し得る。一例の手順６２００は、フォーカスがカメラ３００に適用される際、定期的に実行し得る。例えば、手順６２００は、１（「ｍｓ」）、５ｍｓ、８ｍｓ、２０ｍｓ、５０ｍｓ等であり得るあらゆる更新サイクルで力／トルクデータをサンプリングし得る。

図示の実施形態では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、オペレータによりカメラ３００に付与された力に関連する力／トルク出力データ６２０１をセンサ３３０６から受信する。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、受信した出力データ６２０１をフィルタリングする（ブロック６２０２）ように構成される。出力データは力及び／又はトルクベクトルを含み得る。フィルタリングは、第１のローパスフィルタ、第２のローパスフィルタ、及び／又はカートの振動をターゲットとしたノッチフィルタを適用することを含み得る。他の例では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、１つのローパスフィルタ及びノッチフィルタを使用し得る。

一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６はまた、ロボットアーム５０６及び／又は結合板３３０４における１つ又は複数のジョイントセンサからジョイント位置データ６２０３も受信する。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ジョイント位置データ６２０３を使用して、フィルタリングされた力／トルク出力データの補償を提供する（ブロック６２０４）。補償は、重力補償及び／又は力付与点補償を含み得る。重力補償の場合、地球の重力の影響がフィルタリングされたデータがから除去される。力付与点補償の場合、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、カメラ３００（例えば、制御アーム３０４）に力が付与された点に基づいてフィルタリングされたデータ（及び／又は重力補償されたデータ）に補償を提供する。図３５に関連して上述したように、センサ３３０６は、制御アーム３０４からある角度であるオフセット距離だけ離れて配置される。オフセット距離及び角度は、制御アーム３０４に付与された力を、センサ３３０６で検出される際、方向及び角度だけわずかにシフトさせる。力付与補償は、まるで力が制御アーム３０４ではなくセンサ３３０６に直接付与されたかのように力値を調整する。力付与補償は、センサ３３０６と制御アーム３０４との間の既知の角度及び／又は距離に基づいて予め決定し得る。重力補償及び力付与点補償は一緒になって、フィルタリングされた力／トルクデータを変更し、オペレータがカメラの制御アーム３０４に提供した力／トルクに比例する力／トルクベクトルを生成する。

一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６はまた、補償されフィルタリングされた力／トルク出力データと併せてジョイント位置データ６２０３を使用して、力／トルク系からグローバル系又はロボット空間への座標変換も実行する（ブロック６２０６）。変換は、既知のロボット空間及びセンサ３３０６の向きに基づく１つ又は複数の予め定義される式及び関係を含み得る。一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６はまた、ジョイント位置データ６２０３を使用して、立体視覚化カメラ３００のカメラ系とグローバル系又はロボット空間との間の座標変換も実行する（ブロック６２０８）。カメラ系の座標変換は、上述したように、ロボットアーム５０６のロボット空間にマッピングされた光学較正パラメータに基づき得る。

座標変換を実行した後、一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、少なくとも１つのシグモイド関数を使用して力／トルクベクトルを１つ又は複数の並進／回転ベクトルに変換するように構成される（ブロック６２１０）。並進／回転ベクトルの作成は、オペレータの意図する方向の推測を生成する。並進及び回転情報は、オペレータの意図する移動をミラーリング、一致、且つ／又は近似するためにロボットアーム５０６のジョイントをいかに回転させるべきかの判断に使用される。

幾つかの例では、一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ロボット速度スケーリングを並進／回転ベクトルに適用する（ブロック６２１２）ように構成される。速度スケーリングは、例えば、ロボットアーム５０６の動作状況に基づき得る。例えば、速度スケーリングは、例えば、外科処置が開始されると、アームが手術室スタッフ、機器、及び／又は患者に比較的高速で非意図的に当たることを防ぐために、基づいて適用し得る。処置がまだ開始されていない場合、一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、患者が存在しないとき、ロボットアーム５０６の較正又は設定により小さな速度スケーリングを提供し得る。

一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、スケーリングされた並進／回転ベクトルに基づいてロボットアーム５０６のジョイントの潜在的な移動シーケンスを決定する。可能なシーケンスを評価しながら、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、回避するジョイント特異点を識別し、それにより、ロボットアーム５０６の対応する移動動作を除外する（ブロック６２１４）。上述したように、特異点は、エルボロック又はヒステリシス及びバックラッシュを受けやすい可能性がある他の位置を含み得る。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、例えば、ヤコビアン運動学（例えば、ヤコビアン行列の逆）を使用して移動特異点がなくなった後、移動シーケンスを選択する（ブロック６２１６）ように構成される。ヤコビアン運動学の式は、スケーリングされた並進／回転ベクトルに基づいて、ロボットアーム５０６及び／又は結合板５０６の特定のジョイントをいかに移動させるべきかを定義する。ヤコビアン運動学は速度制御を提供し、一方、後述する逆運動学は位置制御を提供する。幾つかの実施形態では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は代わりに逆運動学又は他のロボットアーム制御ルーチンを使用し得る。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ロボットアーム及び／又は結合板３３０４の特定のジョイントを調整された様式でいかに移動させるべきかを指定し、例えば、ジョイント回転速度、ジョイント回転方向、及び／又はジョイント回転持続時間を指定する移動シーケンスを決定する。移動シーケンスはまた、ロボットアーム５０６及び／又は結合板３３０４のジョイントを回転すべきシーケンスを指定することもできる。ロボットアーム及び／又は結合板３３０４の任意のジョイントＲ１〜Ｒ９は移動シーケンスに応じて、個々に回転してもよく、又は重複した移動を有してもよい。

移動シーケンスが決定された後、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ジョイント速度スケーリング及び／又は許可胃を使用して衝突回避を実行するように構成される。例えば、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、移動シーケンスがロボットアーム５０６及び／又は結合板３３０４の１つ又は複数のジョイント及び／又はリンクを境界又は患者若しくは機器の周囲の空間等の他の画定されたデカルト限界に近づけるか否かを判断するように構成される。図４９に関連して上述したように、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、移動シーケンスからのロボット空間におけるリンク及び／又はジョイントの位置の推定を１つ又は複数の定義された境界及び／又は角度限界と比較し得る。境界からの距離に基づいて、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、スケーリング値を介して１つ又は複数のジョイント速度限界を適用する（ブロック６２１８）。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６はまた、例えば、ロボットアーム５０６のリンクが互いに当たらないようにし、且つ／又はロボットアーム５０６、結合板３３０４、及び／又はカメラ３００が境界を越えないようにする１つ又は複数のジョイント位置限界を適用する（ブロック６２２０）こともできる。位置限界直前のロケーション（例えば、位置限界の１センチメートル（「ｃｍ」）前、２ｃｍ前、１０ｃｍ前等）及び／又は位置限界のロケーションは、スケーリング係数の値が「０」であるデカルトロボット空間におけるロケーションに対応し得る。

幾つかの例では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、式への入力として提供される境界を用いてヤコビアン運動学を実行し得、境界に近いエリアを通る移動にはより高い費用係数が提供される。境界費用係数の使用により、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、移動シーケンスを決定する際、可能であれば、境界に近いロケーションを避けることができる。費用係数は、ロボット空間における特定のロケーションに関連するスケーリング係数の低減への反比例を含み得る。１つのスケーリング係数を各ジョイント／リンクに適用してもよく、又は別個のスケーリング係数がロボット空間内の同じロケーションの各ジョイントに存在してもよい。

衝突回避を提供した後、一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ロボットアーム５０６の比較的高速の反転の補正を提供する（ブロック６２２２）ように構成される。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ゼロ位相遅延アルゴリズムを実施して、１つ又は複数のジョイントに回転方向を素早く変更させる指向性衝撃を拒絶し得る。ゼロ位相遅延アルゴリズムは、例えば、オペレータが方向を逆にする速度が速すぎる場合、ロボットアームが逆戻り又は揺動しないようにするフィルタにより実施し得る。

図６２に示されるように、一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、移動シーケンスのコマンドに確認する（ブロック６２２４）ように構成される。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、コマンドに確認して、コマンド（又はコマンドを示す信号）がジョイントモータの動作パラメータ（例えば、持続時間、回転速度等）以内にあることを保証し得る。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６はまた、コマンドを現在閾値と比較することによりコマンドに確認して、移動シーケンスのいかなるフェーズ中でもロボットアーム５０６が過剰な電流を消費しないことを保証することもできる。

一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６はまた、１つ又は複数のアンチノイズフィルタを移動コマンド又は移動コマンドを示す信号に適用することもできる（ブロック６２２６）。フィルタは、ジョイントモータに過渡信号を誘導し得る高周波ノイズ成分を除去する高周波ローパスフィルタを含み得る。任意のフィルタリング後、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、移動シーケンスに従って、１つ又は複数の信号又はメッセージを介して１つ又は複数のコマンドをロボットアーム及び／又は結合板３３０４の適切なジョイントモータに送信する（ブロック６２２８）。送信されたコマンドは、各ジョイントにおけるモータにロボットアーム５０６及び／又は結合板３３０４を移動させ、それにより、カメラ３００をオペレータにより意図されるように移動させる。一例の手順６２００は、オペレータが力をカメラ３００に付与する限り、繰り返し得る。

図６３は、本開示の実施形態例による、入力デバイス１４１０を介して一例の視覚化カメラ３００を移動刺せる一例の手順６３００の図を示す。一連の手順６３００は図６２の手順６２００と略同一であるが、センサ３３０６に関連するブロック６２０２〜６２０６は削除されている。図示の例では、制御入力６３０１は、制御アーム３０４飢えのボタン、フットペダル、ジョイスティック、タッチスクリーンインターフェース等の入力デバイス１４１０から受信される。制御入力６３０１は、ロボットアーム５０６のデカルトロボット空間内のカメラの指向性移動を示す。

図６３に示されるように、制御入力６３０１は、ロボットアーム５０６及び／又は結合板３３０４における１つ又は複数のジョイントセンサからのジョイント位置データ６２０３と結合されて、カメラ系からグローバル系及び／又はロボット空間への座標変換を実行する（ブロック６２０８）。一例の手順６３００は次に、手順６２００に関して考察したのと同じように続く。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６はそれに従って、入力デバイス１４１０から受信した制御入力６３０１に基づいてロボットアーム５０６、結合板３３０４、及び／又はカメラ３００を所望のロケーション及び／又は向きに移動させる。

Ｆ．標的ロック実施形態
幾つかの実施形態では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、メモリ１５７０及び／又は４１２０に記憶された命令により定義される１つ又は複数のアルゴリズム、ルーチン等を実行して、ロボットアーム５０６及び／又は結合板３３０４が標的ロック特徴を提供できるようにするよう構成される。これらの実施形態では、標的ロック特徴は、標的手術部位にロックしながら、立体視覚化カメラ３００を再び向けられるようにすることにより、ロボットアーム５０６が外科医の延長として動作できるようにする。後述するように、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、オペレータにより付与される力／トルク／移動及びアームジョイントの位置をモニタして、オペレータの意図を推測し、それに従って、カメラ３００の焦点がロック又は静止したままであるようにロボットアーム５０６及び／又は結合板３３０４を再び向けるように構成される。

標的ロック特徴は、全ての運動を仮想球の表面に制約させることにより、カメラ３００を再び向けられるようにする。カメラ３００の先端部は、仮想球の外面（例えば、仮想球の上半球）に配置され、カメラ３００の焦点又は標的手術部位は仮想球の中心を構成する。一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、カメラ３００を球の中心に向けた状態を維持し、それにより、移動中、標的手術部位にピントが合った状態を維持しながら、オペレータがカメラ３００を仮想球の外面にわたり移動させられるようにする。標的ロック特徴は、オペレータが同じ標的部位の大きく異なるビューを容易に素早く取得できるようにする。

図６４は、本開示の実施形態例による、立体視覚化カメラ３００に標的ロックを提供するアルゴリズム、ルーチン、又は手順６４００を示す図を示す。手順６４００について図６４に示される流れ図を参照して説明するが、手順６４００に関連するステップを実行する多くの他の方法が使用可能なことを理解されたい。例えば、ブロックの多くの順序は変更し得、特定のブロックは他のブロックと結合し得、記載されるブロックの多くは任意選択的なものである。さらに、手順６４００に記載される動作は、例えば、図１４の一例の立体視覚化カメラ３００の情報プロセッサモジュール１４０８及び／又は図４１のジョイントＲ１〜Ｒ９及びロボットアームコントローラ４１０６を含め、複数のデバイス間で実行し得る。幾つかの例では、手順６４００は、ロボットアームコントローラ４１０６のメモリ４１２０に記憶されたプログラムにより実行し得る。

一例の手順６４００は補助付き駆動手順６２００と同様である。しかしながら、手順６４００は、カメラ３００の焦点を維持するためのジョイント位置のコマンドを提供し、一方、一例の手順６２００はジョイント速度の計算を提供する。一例の手順６４００は、オペレータにより入力された所望の力／移動ベクトルを特定し、ロボットアーム５０６及び／又は結合板３３０４の１つ又は複数のジョイントがカメラ３００を再び向けるように移動する間、カメラ３００の焦点が静止したままであるように回転変換を計算する。カメラ３００を再び向けることにより、標的手術部位を異なる角度から撮像することが可能になる。再び向けることは、第１のビューパスが、例えば、機器により塞がれ、外科医が現在の焦点の維持を望む場合、必要であり得る。

一例の手順６４００は、オペレータが入力デバイス１４１０上の標的ロックボタンを選択した場合、開始され、標的ロックボタンの選択により、命令メッセージ又は信号がプロセッサ４１０２及び／又はロボットアームコントローラ４１０６に送信される。メッセージを受信した後、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は標的ロックモードで動作し、このモードでは、オペレータがカメラ３００の向きを変更できるようにしながら、作業距離及び／又は焦点は静止したまま保持され、オペレータによるカメラ３００の向き変更は、ロボットアーム及び／又は結合板３３０４の１つ又は複数のジョイントに補助付き移動を提供させる。命令が受信されると、一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、現在の作業距離、倍率、力、及び／又はカメラ３００の他の光学パラメータを記録し得る。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６はまた、ＦＯＶの現在の画像を記録することもできる。

手順６４００が開始された後、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、カメラ３００のオペレータにより付与された力に関連する力／トルク出力データ６２０１をセンサ３３０６から受信する。図６２に関連して考察したように、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、データ６１０２をフィルタリングし、重力／力付与補償を提供する（ブロック６２０２及び６２０４）。また図６２と同様に、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ジョイント位置データ６２０３を補償されフィルタリングされた力／トルク出力データと併せて使用して、力／トルク系とグローバル系又はロボット空間との間の座標変換を実行する（ブロック６２０６）。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６はまた、ジョイント位置データ６２０３を使用して、立体視覚化カメラ３００のカメラ系とグローバル系又はロボット空間との間の座標変換も実行する（ブロック６２０８）。一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６はまた、グローバル系又はロボット空間から、仮想球に対応する球座標への変換も実行する（ブロック６４１０）。

座標変換後、一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、例えば、カメラ３００の動作モードに基づいて軌道速度をスケーリングする（ブロック６４１２）ように構成される。スケーリングは図６２のブロック６２１２において実行されたスケーリングと同様であり得る。図６４の一例の手順６４００は、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６が球端点（ｓｐｈｅｒｅ ｅｎｄ ｐｏｉｎｔ）を計算すること（ブロック６４１４）に続く。球端点の計算は、オペレータの望む移動方向についての推測を提供し、球を回転させずにカメラ３００を仮想球にわたり移動させるべき程度を決定する。

図６５は、本開示の実施形態例による、標的ロック特徴の仮想球６５００を示す図を示す。図６５に示されるように、立体視覚化カメラ３００は、ジョイント位置データ６２０３から特定される現在位置に基づいて球６５００に仮想的に配置される。カメラ３００のビューベクトルは、球６５００の中心に配置された、ｘｙｚ標的として示される先端部を指す。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、変換された力／トルクデータを使用して、ｘｙｚ標的を指したビューベクトルを維持しながら球６５００の表面に沿って球上のカメラ３００をいかに移動させるべきかを決定するように構成され、球上の任意の所与の点は、回転球角度「ｖ」及び「ｕ」の関数である式により与えられる。力／トルクデータが使用される場合、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、並進力に対応する「ｘ」成分及び「ｙ」成分を使用して、球端点を特定するために、仮想球６５００上でカメラ３００をいかに移動させるべきかを直接決定する。

プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、異なる入力に対して球端点を別様に特定し得る。例えば、図６３に示されるように、入力が入力デバイス１４１０を介して受信される場合、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、「上」、「下」、「左」、及び「右」をカメラ座標からｘ、ｙベクトルとして提供されるロボット空間座標に変換する。力／トルクデータと同様に、ｘ、ｙベクトルはプロセッサ４１０２及び／又はロボットアームコントローラ４１０６により、球端点を特定するために、カメラ３００を仮想球６５００でいかに移動させるべきかを直接決定するのに使用される。入力が入力デバイスを介して受信される場合、図６３に示されるように、ブロック６２０２〜６２０６と併せて考察した動作を省き得ることを理解されたい。

幾つかの例では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、軌道入力データを受信するように構成される。これらの例では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、仮想球６５００の球角度「ｕ」に沿った移動を繰り返しながら、球角度「ｖ」を一定に保つ。球角度「ｕ」に沿った反復移動は、軌道入力での球端点を特定できるようにする。入力が仮想球６５００に適用されるが、他の例では、入力を他の形状に適用し得ることを理解されたい。例えば、仮想球６５００は代わりに、仮想円柱形、楕円形、卵形、ピラミッド／錐台等として定義し得る。

他の例では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、レベルスコープ入力データを受信するように構成される。これらの例では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、仮想球６５００の球角度「ｖ」に沿った移動を繰り返しながら、球角度「ｕ」を一定に保つ。球角度「ｖ」に沿った反復移動は、カメラ３００を仮想球６５００の上部に移動させる。

図６４に戻ると、球端点が特定された後、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、カメラ３００が特定された端点まで仮想球に沿って移動した後、カメラ３００がｘ、ｙ、ｚ標的を見ることを維持するために必要な回転量を計算する（ブロック６４１６）ように構成される。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６はまた、この計算中、アンチヨー補正を提供する（ブロック６４１８）こともできる。換言すれば、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、仮想球６５００上のカメラ３００の新しい位置を所与として、カメラ３００のビューベクトル又は先端部が、標的手術部位又は焦点に対応する仮想球６５００の中心を指す同じｘ、ｙ、ｚ標的に提供されるようにカメラ３００をいかに向けるべきかを決定するよう構成される。

このステップ中、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、所望の向きを達成するために必要なロボットアーム５０６及び／又は結合板３３０４のジョイント角度を決定する。ｘ、ｙ、ｚ球端点がブロック６４１４において計算された後、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、カメラ３００のロール量及びピッチ量を決定する。幾つかの実施形態では、計算は２ステッププロセスである。まず、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ｘ、ｙ、ｚ球端点を所与として、回転せずにカメラ３００の移動を提供する初期４×４変換行列Ｔを計算する。次に、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、続くジョイント回転サイクルでカメラ３００がｘ、ｙ、ｚに配置された（且つ／又はｘ、ｙ、ｚ球端点に位置決めされた）標的を見るのを維持するような局所ロール量及びピッチ量を計算する。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、以下の式（４）及び（５）を使用して、ロール量及びピッチ量を計算し得、式中、Ｔ_ｎｅｘｔは４×４変換行列に対応する。計算は各更新サイクル（例えば８ｍｓ）で実行することができる。

上記式（４）中、ｘ_{ｔａｒｅｇｔ＿ｎｅｘｔ}、ｙ_{ｔａｒｅｇｔ＿ｎｅｘｔ}、及びｚ_{ｔａｒｅｇｔ＿ｎｅｘｔ}は、Ｔ_ｎｅｘｔ行列への制約である。上記制約は、ロール角及びピッチ角が、上記ｘ、ｙ、ｚ式が有効であるように選ばれることを指定する。換言すれば、ジョイント回転の次の更新されたサイクルにおける標的のｘ、ｙ、ｚロケーションは、現在のサイクルにおける標的のｘ、ｙ、ｚロケーションに等しいロケーションである必要がある。制約により、カメラ３００はロール角及びピッチ角を介して回転できるようになるが、ｘ、ｙ、ｚロケーションに相対してロックされたままであることができる。

さらに式（５）の最初の行列の下の行における−ｓｉｎθはピッチ角に対応し、一方、２番目の行列の下の行におけるｓｉｎθはロール角に対応する。ピッチの閉形式表現は、関数ｃｏｓ（ｒｏｌｌ）を所与として存在し得る。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、反復方法を使用して、ｆｎ（ｃｏｓ（ｒｏｌｌ））に等しいピッチを用いて関数ｃｏｓ（ｒｏｌｌ）として計算されたロールを推定して、上記式の正確なロール／ピッチ解対を生成し得る。

ブロック６４１６及び６４１８に関連して説明した動作からロール量及びピッチ量が計算された後、一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、特異点回避を提供し、逆運動学を計算して、仮想球６５００に沿ったカメラ３００の新しいｘ、ｙ、ｚ位置に加えてロール量及びピッチ量を達成するジョイント回転を決定する（ブロック６２１４及び６４２０）ように構成される。逆運動学の計算により、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ロボットアーム５０６及び／又は結合板３３０４のジョイントの移動シーケンスを決定することができる。

一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、ジョイント速度限界及び／又は位置限界に加えて誤差補正を移動シーケンスに適用し得る（ブロック６４１８、６２１８、６２２０）。図６２に関連して上述したように、限界及び誤差補正は、ロボットアーム５０６、カメラ３００、及び／又は結合板３３０４がそれら自体に当たらず、１つ又は複数の境界を越えず、且つ／又は許容可能なジョイント位置内にないようにし得る。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６はまた、移動シーケンスに基づいて、ロボットアーム５０６及び／又は結合板３３０４の１つ又は複数のジョイントＲ１〜Ｒ９にコマンド（又はコマンドを示す信号）を送信する前、移動シーケンスのジョイントへのコマンドがアンチノイズフィルタリングを提供することを確認する（ブロック６２２４、６２２６、６２２８）こともできる。一例の手順６４００は次に、他の移動が検出されない場合、終了し得る。その他の場合、オペレータ入力が受信されるとき、手順６４００は定期的な間隔（例えば、１０ｍｓ、２０ｍｓ等）で繰り返される。

幾つかの実施形態では、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、機器の標的ロック追跡を提供し得る。これらの例では、仮想球６５００の中心のｘｙｚ標的は、移動する標的に対応する動的軌道で置換される。そのような特徴は、例えば、脊椎器具の追跡を可能にし得る。これらの実施形態では、機器は１つ又は複数の基準及び／又は他のマーカを含み得る。一例の立体視覚化カメラ３００は、基準を含む画像を記録する。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、カメラ形空間からロボット空間への座標変換を実行して、機器がｘ、ｙ、ｚ軸に沿っていかに移動しているかを特定し得る。一例のプロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、基準が画像においていかに移動するかを追跡し、対応するｘ、ｙ、ｚ移動ベクトルを決定し得る。幾つかの場合、ｘ、ｙ、ｚベクトルは、図６４のブロック６４１４の球端点計算に入力されて、仮想球６５００の中心ロケーションを変更し得る。球６５００の移動に応答して、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、新しい標的ロケーションで同じ作業距離及び／又は向きを維持するためにロボットアーム５０６をいかに位置決めすべきかを決定する。プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は次に、逆運動学を適用して、標的の移動を追跡するためのロボットアーム５０６及び／又は結合板のジョイント回転を決定し得る。手順６２００及び６４００と同様に、プロセッサ４１０２及び／又はロボットアームコントローラ４１０６は、決定された移動シーケンスにおいて指定されたようにコマンドをジョイントに送信する前、誤差補正、ジョイント限界、フィルタ、及び／又は確認を適用し得る。

結論
本明細書に記載されたシステム、構造、方法、及び手順のそれぞれが、１つ又は複数のコンピュータプログラム又は構成要素を使用して実施し得ることが理解されよう。これらのプログラム及び構成要素は、ランダムアクセスメモリ（「ＲＡＭ」）、読み取り専用メモリ（「ＲＯＭ」）、フラッシュメモリ、磁気又は光学ディスク、光学メモリ、又は他の記憶媒体、並びにそれらの組み合わせ及び派生物を含め、任意の従来のコンピュータ可読媒体上の一連のコンピュータ命令として提供し得る。命令は、プロセッサにより実行されるように構成し得、プロセッサは、一連のコンピュータ命令を実行すると、開示された方法及び手順の全て又は一部を実行するか、又は実行を促進する。

本明細書に記載された実施形態例への様々な変更及び変形が当業者には明らかになることを理解されたい。そのような変更及び変形は、本趣旨及び範囲から逸脱せずに、意図される利点を低減せずに行うことができる。したがって、そのような変更及び変形が添付の特許請求の範囲によって包含されることが意図される。さらに、現在の米国法と一致して、「手段」又は「ステップ」が請求項において明示的に記載される場合を除き、米国特許法第１１２条（ｆ）又はＡＩＡ改正前米国特許法第１１２条第６段落の発動が意図されないことを理解されたい。したがって、請求項は、本明細書に記載される対応する構造、材料、若しくは動作、又はそれらの均等物への限定を意図されない。

Claims (21)

1. ロボット撮像装置であって、
   セキュア構造又はカートに接続されるように構成されたベースセクションと、
   ロボットアームであって、
   前記ベースセクションに接続される第１の端部、
   結合インターフェースを含む第２の端部、及び
   前記第１の端部を前記第２の端部に接続する複数のジョイント及びリンクであって、各ジョイントは、軸の回りで前記ジョイントを回転させるように構成されたモータ及び前記ジョイントのそれぞれの位置を送信するように構成されたジョイントセンサを含む、複数のジョイント及びリンク
   を含む、ロボットアームと、
   前記結合インターフェースにおいて前記ロボットアームに接続される立体カメラであって、標的手術部位の左画像及び右画像を記録して、前記標的手術部位の立体画像ストリームを生成するように構成される、立体カメラと、
   前記結合インターフェースに位置決めされ、オペレータにより前記立体カメラに付与される並進力及び回転力を検出し、前記並進力及び前記回転力を示す出力データを送信するように構成されるセンサと、
   少なくとも前記ロボットアームの現在位置並びに検出された並進力及び回転力に基づいて、前記ロボットアームの前記ジョイントのそれぞれの回転方向、速度、及び持続時間を指定する１つ又は複数の命令及び／又はデータ構造により定義される少なくとも１つのアルゴリズムを記憶するメモリと、
   前記センサ及び前記ロボットアームに通信可能に結合される少なくとも１つのプロセッサと、
   を備え、
   前記少なくとも１つのプロセッサは、
   前記センサから、前記並進力及び前記回転力を示す前記出力データを受信することと、
   前記メモリ内の前記少なくとも１つのアルゴリズムを使用して、前記ロボットアームの現在位置及び前記センサからの前記出力データに基づいて前記ロボットアームの移動シーケンスを決定することと、
   前記少なくとも１つのジョイントに提供される１つ又は複数のモータ制御信号を介して、前記決定された移動シーケンスに基づいて前記ロボットアームの前記ジョイントの少なくとも１つを回転させることと、
   を行うように構成され、
   前記少なくとも１つのジョイントの前記回転は、前記オペレータによる前記立体カメラに付与される前記検出された並進力及び前記検出された回転力に基づいて、前記ロボットアームの動力補助付き移動を提供する、ロボット撮像装置。
2. 前記少なくとも１つのプロセッサは、前記複数のジョイントの前記ジョイントセンサからの出力データに基づいて、前記ロボットアームの前記現在位置を特定するように構成される、請求項１に記載の装置。
3. 前記センサは、自由度６の触力覚デバイス又はトルクセンサの少なくとも一方を含む、請求項１又は請求項２に記載の装置。
4. 前記立体カメラは、前記動力補助付き移動を可能にするリリースボタンを有する少なくとも１つの制御アームを含み、
   前記少なくとも１つのプロセッサは、
   前記リリースボタンが選択されたことを示す入力メッセージを受信することと、
   前記リリースボタンに関連する前記入力メッセージを受信した後、前記センサからの前記出力データを使用して前記移動シーケンスを決定することと、
   を行うように構成される、請求項１又は請求項２に記載の装置。
5. 前記ロボットアームの前記結合インターフェースに接続するように構成された第１の端部と、前記立体カメラに接続するように構成された第２の結合インターフェースを含む第２の端部とを有する結合板を更に含み、
   前記結合板は、前記移動シーケンスに従って前記少なくとも１つのプロセッサにより制御可能な前記ジョイント及びモータのそれぞれの位置を送信するように構成されたジョイントセンサを含む少なくとも１つのジョイントを含む、請求項１又は請求項４に記載の装置。
6. 前記センサは、前記結合インターフェース又は前記第２の結合インターフェースに配置される、請求項５に記載の装置。
7. 前記結合板は、前記立体カメラを水平向きと垂直向きとの間でオペレータにより手動で回転できるようにする第２のジョイントを含み、前記第２のジョイントは、前記第２のジョイントの位置を送信するように構成されたジョイントセンサを含む、請求項５に記載の装置。
8. 前記立体カメラは、前記結合インターフェースにおいて前記ロボットアームに接続するように構成される底面を含む筐体を含む、請求項１又は請求項４に記載の装置。
9. ロボット撮像装置であって、
   ロボットアームであって、
   セキュア構造に接続される第１の端部、
   結合インターフェースを含む第２の端部、及び
   前記第１の端部を前記第２の端部に接続する複数のジョイント及びリンクであって、各ジョイントは、軸の回りで前記ジョイントを回転させるように構成されたモータ及び前記ジョイントのそれぞれの位置を送信するように構成されたジョイントセンサを含む、複数のジョイント及びリンク
   を含む、ロボットアームと、
   前記結合インターフェースにおいて前記ロボットアームに接続される撮像デバイスであって、前記撮像デバイスは、標的手術部位の画像を記録するように構成される、撮像デバイスと、
   前記結合インターフェースに位置決めされ、オペレータにより前記撮像デバイスに付与される力及び／又はトルクを検出し、前記力及び／又は前記トルクを示す力及び／又はトルク出力データを送信するように構成されるセンサと、
   前記センサ及び前記ロボットアームに通信可能に結合される少なくとも１つのプロセッサと、
   を備え、
   前記少なくとも１つのプロセッサは、
   前記センサから前記力及び／又はトルク出力データを受信することと、
   前記力及び／又はトルク出力データを並進ベクトル及び回転ベクトルに変換することと、
   運動学を使用して、前記ロボットアームの現在位置並びに前記並進ベクトル及び前記回転ベクトルに基づいて前記ロボットアームの移動シーケンスを決定することであって、前記移動シーケンスは、前記ロボットアームの前記ジョイントの少なくとも幾つかの移動の回転方向、速度、及び持続時間を指定する、決定することと、
   前記少なくとも１つのジョイントに提供される１つ又は複数のモータ制御信号を介して、前記決定された移動シーケンスに基づいて前記ロボットアームの前記ジョイントの少なくとも１つを回転させることと、
   を行うように構成される、ロボット撮像装置。
10. 前記プロセッサは、
    前記移動シーケンスに基づいて、前記ロボットアームの前記現在位置又は前記ロボットアームの特徴位置の少なくとも一方に基づいて少なくとも１つのスケーリング係数を決定することと、
    前記移動シーケンスの少なくとも１つのジョイント速度に前記スケーリング係数を適用することと、
    を行うように構成される、請求項９に記載の装置。
11. 前記少なくとも１つのスケーリング係数は、仮想境界からの前記ロボットアーム又は前記撮像デバイスの距離に基づいて構成され、
    前記少なくとも１つのスケーリング係数は、前記仮想境界に近づくにつれて「０」の値に低減する、請求項１０に記載の装置。
12. 前記仮想境界は、患者、医療機器、又は手術室スタッフの少なくとも１つに対応する、請求項１１に記載の装置。
13. 前記プロセッサは、前記少なくとも１つのスケーリング係数が前記移動シーケンスに適用されたことを示すアイコンをディスプレイデバイスに表示させるように構成される、請求項１１に記載の装置。
14. 前記プロセッサは、
    前記ロボットアームのジョイント間又はジョイント限界間のジョイント角度に基づいて少なくとも１つのスケーリング係数を決定することと、
    前記移動シーケンスの少なくとも１つのジョイント速度に前記スケーリング係数を適用することと、
    を行うように構成される、請求項９又は請求項１３に記載の装置。
15. 前記プロセッサは、
    前記力及び／又はトルク出力データに重力補償を提供することと、
    力適用補償を前記力及び／又はトルク出力データに提供して、前記センサのロケーションと前記力及び／又はトルクが前記オペレータにより付与される前記撮像デバイスのロケーションとの間のオフセットを補償することと、
    を行うように構成される、請求項９又は請求項１３に記載の装置。
16. 前記プロセッサは、
    前記ロボットアームの前記複数のジョイントのジョイント特異点を特定又は識別して、ヒステリシス及びバックラッシュを制御することと、
    前記ジョイント特異点を通してのロボットアーム移動を避けながら、前記運動学に基づいて前記移動シーケンスを決定することと、
    を行うように構成される、請求項９、請求項１３又は請求項１５に記載の装置。
17. 前記ロボットアームの前記結合インターフェースに接続するように構成された第１の端部と、立体カメラに接続するように構成された第２の結合インターフェースを含む第２の端部とを有する結合板を更に備え、
    前記結合板は、前記移動シーケンスに従って前記少なくとも１つのプロセッサにより制御可能な前記ジョイントのそれぞれ及びモータの位置を送信するように構成されたジョイントセンサを含む少なくとも１つのジョイントを含み、
    前記センサは、前記結合インターフェース又は前記第２の結合インターフェースに配置される、請求項９又は請求項１３に記載の装置。
18. 前記ロボットアームは少なくとも４つのジョイントを含み、前記結合板は少なくとも２つのジョイントを含む、請求項１７に記載の装置。
19. 前記プロセッサは、前記移動シーケンスにより指定される移動の前記回転方向、前記速度、及び前記持続時間を示す１つ又は複数のコマンド信号を前記ジョイントのそれぞれの前記モータに送信することにより、前記ロボットアームの前記ジョイントの少なくとも１つに回転させるように構成される、請求項９、請求項１３、又は請求項１７に記載の装置。
20. 前記プロセッサは、前記移動シーケンス中、前記ロボットアームが移動しているとき、前記撮像デバイスにより記録された画像を比較して、前記移動シーケンス中、前記ロボットアームが決定されたように移動していることを確認するように構成される、請求項９、請求項１３、又は請求項１７に記載の装置。
21. 前記運動学は、逆運動学又はヤコビアン運動学の少なくとも一方を含む、請求項９、請求項１３、又は請求項１７に記載の装置。

Images