JP2022036255A - ロボット外科手術装置および視聴者適合型の立体視ディスプレイの態様を制御するためのシステム、方法、およびコンピュータ可読記憶媒体 - Google Patents

Abstract

【課題】ロボット外科手術装置の制御のためのシステム、方法、およびコンピュータ可読媒体を提供すること【解決手段】ロボットアームと、自動立体視ディスプレイと、ユーザ画像撮影装置と、画像処理装置と、コントローラとを含む、システムが提供される。ロボットアームは、患者画像撮影装置に連結される。自動立体視ディスプレイは、患者画像撮影装置から取得された手術部位の画像を表示するように構成される。画像処理装置は、ユーザ画像撮影装置から取得された画像内のユーザの少なくとも一部の位置を識別するように構成される。コントローラは、第１モードにおいて、識別された位置に基づいて自動立体視ディスプレイ上に表示される画像の３Ｄ態様を調整し、第２モードにおいて、識別された位置と手術部位画像との関係に基づいてロボットアームまたは器具を動かすように構成される。【選択図】図４

Description

（関連出願の相互参照）
本出願は、２０１６年６月３日に出願された米国仮出願第６２／３４５，５２２号の利益および優先権を主張し、その全内容が参照により本明細書に組み込まれる。

（背景技術）
ロボット外科手術システムは、最小侵襲性医療処置においてますます使用されている。通常、ロボット外科手術システムは、外科手術器具および／またはカメラが連結される１つ以上のロボットアームから離れて位置する、サージョンコンソールを含む。サージョンコンソールは、手術室のロボットアームの別の側、別の部屋、または別の建物内に位置してもよく、外科医からの入力を受け付けるための入力用ハンドルまたは他の入力装置を含む。入力は、患者の近く、例えば手術部位内のロボットアームを操作するコマンドに該入力を変換する、中央制御装置に伝達される。

サージョンコンソールは、三次元（３Ｄ）ディスプレイと呼ばれることもある立体視ディスプレイを含んでもよい。この点について、このようなディスプレイは、外科医が装着する対応する一対の立体視用眼鏡と組み合わせて、画像を左右の眼にそれぞれ別々に提供される一対の別個の画像として外科医に提示することによって、画像における奥行き知覚を容易にする。この一対の画像は、ディスプレイ上でそれぞれの眼に見えるものを異ならせる、左右の眼の間のオフセットの効果を再現するために作成される。ディスプレイ上でそれぞれの眼に見える画像の差は、画像内の対象物の奥行きの差として知覚される。いくつかの構成では、立体視ディスプレイは、ディスプレイの画素と慎重に位置合わせされたフィルムであって、立体視用眼鏡を介して、特定の画素行または画素列を一方の眼によって視認可能にし、他の画素行または画素列を他方の眼によって視認可能にする、フィルムを含む。

上述のサージョンコンソールおよび表示方式は適切なものであるが、改善されてもよい。特に、立体視用眼鏡および／またはディスプレイを介して手術部位を見ることに関し、多くの場合、知覚される画像の劣化を最小限にするために、外科医の眼がそれぞれ特定の位置に配置される必要がある。このように、外科医は、コンソール内での自身の位置を制限されることがある。また、いくつかの医療処置には比較的長い時間がかかる可能性があるため、立体視用眼鏡を着用すること、および／またはコンソール内の位置を制限され続けることは、外科医に不快感を与える可能性がある。

本開示の一態様によれば、上述のニーズに対処するシステム、方法、およびコンピュータ可読媒体が提供される。本開示の一態様では、ロボットアームと、自動立体視ディスプレイと、ユーザ画像撮影装置と、画像処理装置と、コントローラとを含む、ロボット外科手術装置の制御のためのシステムが提供される。ロボットアームは、患者画像撮影装置に連結される。自動立体視ディスプレイは、患者画像撮影装置から取得された手術部位の画像を表示するように構成される。画像処理装置は、ユーザ画像撮影装置から取得された画像内のユーザの少なくとも一部の位置を識別するように構成される。コントローラは、第１モードにおいて、識別された位置に基づいて自動立体視ディスプレイ上に表示される画像の３Ｄ態様を調整し、第２モードにおいて、識別された位置と手術部位画像との関係に基づいてロボットアームまたは器具を動かすように構成される。

本開示の別の態様では、システムの自動立体視ディスプレイは、偶数画素列と奇数画素列とを含む複数の画素を含むようにさらに構成される。各画素列は、対応する垂直レンズの下方に配置される。偶数画素列に対応する垂直レンズは、偶数画素列をユーザの第１の眼によって知覚可能とするように構成され、奇数画素列に対応する垂直レンズは、奇数画素列をユーザの第２の眼によって知覚可能とするように構成される。本開示のさらなる態様では、コントローラは、複数の画素のうちの１つ以上を調整することによって、自動立体視ディスプレイ上に表示される画像を調整するようにさらに構成される。本開示のさらに別の態様では、システムの画像処理装置は、ユーザ画像撮影装置から取得された画像内のユーザの第１の眼および第２の眼の位置を識別するようにさらに構成され、コントローラは、識別されたユーザの第１の眼の位置または識別されたユーザの第２の眼の位置に部分的に基づいて、自動立体視ディスプレイ上に表示された複数の画素のうちの１つ以上の画素を調整するようにさらに構成される。

本開示の別の態様では、システムのコントローラは、ユーザの第１の眼および第２の眼の位置に基づいてユーザの視線の位置を検出し、ユーザの視線の位置の他の位置への変化を検出し、視線の位置と手術部位画像との関係に基づいて、患者画像撮影装置に連結されたロボットアームを動かすようにさらに構成される。本開示のさらなる態様では、コントローラは、検出されたユーザの視線の位置の変化に応じて、アームを動かす速度の大きさおよび方向を計算するようにさらに構成される。本開示の代替的な態様では、ユーザの視線の位置の変化を検出するために、コントローラは、検出されたユーザの視線の位置の変化が、所定の位置からの第１の所定の距離範囲外であるかどうかを判定するようにさらに構成される。本開示の別の態様では、コントローラは、検出されたユーザの視線の位置の変化が、第１の所定の距離範囲よりも大きい第２の所定の距離範囲外であるかどうかを判定し、検出されたユーザの視線の位置の変化が第２の所定の距離範囲外であると判定されると、システムに通知を行わせるようにさらに構成される。

本開示の別の態様では、コントローラは、画像内のユーザの視線が、閾値時間よりも長い時間にわたりその位置で保持されているかどうかを判定し、視線が閾値時間より長い時間にわたり保持されていると、患者画像撮影装置に連結されたロボットアームを動かすようにさらに構成される。

本開示のさらに別の態様では、コントローラは、患者画像撮影装置を動かすための入力を検出し、識別された位置の変化を判定し、識別された位置の変化に基づいて頭部の位置および／または速度を判定し、判定された頭部の位置および／または速度に基づいて、頭部の傾き、頭部の向き、または頭部のロールのうちの１つ以上を判定するようにさらに構成される。

本開示の別の態様では、患者画像撮影装置は、ビジュアルコンテンツを撮影して画像処理装置に送信する際に第１の所定のレイテンシを達成するように構成され、画像処理装置は、ビジュアルコンテンツを処理し、ユーザの視線の位置を判定し、患者画像撮影装置に制御信号を送信する際に、第２の所定のレイテンシを達成する、複数の並列実行サブプロセッサを備える。

本開示のさらに別の態様では、コントローラは、識別された位置に基づいて頭部姿勢を判定し、判定された頭部姿勢に基づいて並進速度を計算し、計算された並進速度からのｘ座標をマッピングして入出力速度を得、計算された並進速度からのｚ座標をマッピングし、判定された頭部姿勢に基づいてＹＺ方向速度を計算し、計算されたＹＺ速度をマッピングしてパン角速度を得、判定された頭部姿勢からロール値を抽出し、抽出されたロール値をマッピングしてロール角速度を得、入出力速度、パン角速度、およびロール角速度に基づいて、患者画像撮影装置の姿勢を判定することができるようにさらに構成される。

本開示のさらにまた別の態様では、ロボット外科手術装置は内視鏡を含む。

本開示のさらにまた別の態様では、コントローラは、第１モードと第２モードとの両方で同時に実行するように構成される。

本開示のさらにまた別の態様では、コントローラは、第１モードと第２モードとで別々に実行するように構成される。

本開示の別の態様では、ロボット外科手術装置を制御するためのコンピュータ実施方法が提供される。この方法は、ロボットアームに連結された患者画像撮影装置から取得された手術部位の画像を表示することと、ユーザ画像撮影装置から取得された画像内のユーザの少なくとも一部の位置を識別することと、自動立体視ディスプレイ上に表示される画像の３Ｄ態様を識別された位置に基づいて調整することにより第１モードで動作することと、患者画像撮影装置に連結されたロボットアームを識別された位置と手術部位画像との関係に基づいて動かすことにより第２モードで動作することとを含む。

本開示の別の態様によれば、自動立体視ディスプレイは、偶数画素列と奇数画素列とを含む複数の画素を含むようにさらに構成され、各画素列は対応する垂直レンズの下方に配置され、偶数画素列に対応する垂直レンズは、偶数画素列をユーザの第１の眼によって知覚可能とするように構成され、奇数画素列に対応する垂直レンズは、奇数画素列をユーザの第２の眼によって知覚可能とするように構成され、方法は、複数の画素のうちの１つ以上の画素を調整することによって、自動立体視ディスプレイ上に表示される画像を調整することをさらに含む。

本開示の別の態様では、方法は、ユーザ画像撮影装置から取得された画像内のユーザの第１の眼および第２の眼の位置を識別することと、識別されたユーザの第２の眼の位置の識別されたユーザの第１の眼の位置に部分的に基づいて、自動立体視ディスプレイ上に表示された複数の画素のうちの１つ以上の画素を調整することとをさらに含む。

本開示の別の態様では、方法は、第１の眼および第２の眼の位置に基づいてユーザの視線の位置を検出することと、ユーザの視線の位置の他の位置への変化を検出することと、視線の位置と手術部位画像との関係に基づいて、患者画像撮影装置に連結されたロボットアームを動かすこととをさらに含む。

本開示のさらに別の態様では、方法は、検出されたユーザの視線の位置の変化に応じて、手術部位画像内でのアームを動かす速度の大きさおよび方向を計算することをさらに含む。

本開示の別の態様では、方法は、検出されたユーザの視線の位置の変化が、所定の位置からの第１の所定の距離範囲外であるかどうかを判定することにより、ユーザの視線の位置の変化を検出することをさらに含む。

本開示の別の態様では、方法は、ユーザの視線の位置が、第１の所定の距離範囲よりも大きい第２の所定の距離範囲外であるかどうかを判定することと、ユーザの視線の位置が第２の所定の距離範囲外であると、システムに通知を行わせることとをさらに含む。

本開示のさらに別の態様では、方法は、ユーザの視線が、閾値時間よりも長い時間にわたりその位置で保持されているかどうかを判定することと、視線が閾値時間より長い時間にわたり保持されていると、患者画像撮影装置に連結されたロボットアームを動かすこととをさらに含む。

本開示のさらに別の態様によると、方法は、患者画像撮影装置を動かすための入力を検出することと、識別された位置の変化を判定することと、識別された位置の変化に基づいて頭部の位置および／または速度を判定することと、判定された頭部の位置および／または速度に基づいて、頭部の傾き、頭部の向き、または頭部のロールのうちの１つ以上を判定することとをさらに含む。

本開示のさらに別の態様では、方法は、識別された位置に基づいて頭部姿勢を判定することと、判定された頭部姿勢に基づいて並進速度を計算することと、計算された並進速度からのｘ座標をマッピングして入出力速度を得ることと、計算された並進速度からのｚ座標をマッピングすることと、判定された頭部姿勢に基づいてＹＺ方向速度を計算することと、計算されたＹＺ速度をマッピングしてパン角速度を得ることと、判定された頭部姿勢からロール値を抽出することと、抽出されたロール値をマッピングしてロール角速度を得ることと、入出力速度、パン角速度、およびロール角速度に基づいて、患者画像撮影装置の姿勢を判定することをさらに含む。

本開示の別の態様では、方法は、第１モードと第２モードとの両方を同時に実行することをさらに含む。

本開示のさらにまた別の態様では、方法は、第１モードと第２モードとを別々に実行することをさらに含む。

本開示の別の態様によると、プロセッサによって実行されたときに、ロボットアームに連結された患者画像撮影装置から取得された手術部位の画像を表示させ、ユーザ画像撮影装置から取得された画像内のユーザの少なくとも一部の位置を識別させ、自動立体視ディスプレイ上に表示される画像の３Ｄ態様を識別された位置に基づいて調整することにより第１モードで動作させ、患者画像撮影装置に連結されたロボットアームを識別された位置と手術部位画像との関係に基づいて動かすことにより第２モードで動作させる命令を格納した非一時的なコンピュータ可読媒体が提供される。

本開示の一態様によると、非一時的なコンピュータ可読媒体は、プロセッサによって実行されたときに、偶数画素列と奇数画素列とを含む複数の画素を含む自動立体視ディスプレイであって、各画素列は対応する垂直レンズの下方に配置され、偶数画素列に対応する垂直レンズは、偶数画素列をユーザの第１の眼によって知覚可能とするように構成され、奇数画素列に対応する垂直レンズは、奇数画素列をユーザの第２の眼によって知覚可能とするように構成される、自動立体視ディスプレイに、複数の画素のうちの１つ以上の画素を調整することによって自動立体視ディスプレイ上に表示される画像を調整させる命令をさらに含む。

本開示の別の態様では、非一時的なコンピュータ可読媒体は、プロセッサによって実行されたときに、ユーザ画像撮影装置から取得された画像内のユーザの第１の眼および第２の眼の位置を識別させ、識別されたユーザの第２の眼の位置の識別されたユーザの第１の眼の位置に部分的に基づいて、自動立体視ディスプレイ上に表示された複数の画素のうちの１つ以上の画素を調整させる命令をさらに含む。

本開示の別の態様では、非一時的なコンピュータ可読媒体は、プロセッサによって実行されたときに、第１の眼および第２の眼の位置に基づいてユーザの視線の位置を検出させ、ユーザの視線の位置の他の位置への変化を検出させ、視線の位置と手術部位画像との関係に基づいて、患者画像撮影装置に連結されたロボットアームを動かす命令をさらに含む。

本開示のさらに別の態様では、非一時的なコンピュータ可読媒体は、プロセッサによって実行されたときに、検出されたユーザの視線の位置の変化に応じて、手術部位画像内でのアームを動かす速度の大きさおよび方向を計算させる命令をさらに含む。

本開示のさらにまた別の態様では、非一時的なコンピュータ可読媒体は、プロセッサによって実行されたときに、ユーザの視線の位置の変化を検出することが、検出されたユーザの視線の位置の変化が、所定の位置からの第１の所定の距離範囲外であるかどうかを判定することをさらに含むようにする命令をさらに含む。

本開示の別の態様では、非一時的なコンピュータ可読媒体は、プロセッサによって実行されたときに、ユーザの視線が、閾値時間よりも長い時間にわたりその位置で保持されているかどうかを判定させ、視線が閾値時間より長い時間にわたり保持されていると、患者画像撮影装置に連結されたロボットアームを動かす命令をさらに含む。

本開示の別の態様では、非一時的なコンピュータ可読媒体は、プロセッサによって実行されたときに、患者画像撮影装置を動かすための入力を検出させ、識別された位置の変化を判定させ、識別された位置の変化に基づいて頭部の位置および／または速度を判定させ、判定された頭部の位置および／または速度に基づいて、頭部の傾き、頭部の向き、または頭部のロールのうちの１つ以上を判定させる命令をさらに含む。

本開示のさらに別の態様では、非一時的なコンピュータ可読媒体は、プロセッサによって実行されたときに、識別された位置に基づいて頭部姿勢を判定させ、判定された頭部姿勢に基づいて並進速度を計算させ、計算された並進速度からのｘ座標をマッピングして入出力速度を得させ、計算された並進速度からのｚ座標をマッピングさせ、判定された頭部姿勢に基づいてＹＺ方向速度を計算させ、計算されたＹＺ速度をマッピングしてパン角速度を得させ、判定された頭部姿勢からロール値を抽出させ、抽出されたロール値をマッピングしてロール角速度を得させ、入出力速度、パン角速度、およびロール角速度に基づいて、患者画像撮影装置の姿勢を判定させる命令をさらに含む。

本開示のさらに別の態様では、非一時的なコンピュータ可読媒体は、プロセッサによって実行されたときに、第１モードと第２モードとの両方を同時に実行させる命令をさらに含む。

本開示のさらにまた別の態様では、非一時的なコンピュータ可読媒体は、プロセッサによって実行されたときに、第１モードと第２モードとを別々に実行させる命令をさらに含む。
本発明は、例えば、以下を提供する。
（項目１）
患者画像撮影装置に連結されたロボットアームと、
前記患者画像撮影装置から取得された手術部位の画像を表示するように構成された自動立体視ディスプレイと、
ユーザ画像撮影装置と、
前記ユーザ画像撮影装置から取得された画像内のユーザの少なくとも一部の位置を識別するように構成された画像処理装置と、
第１モードにおいて、前記識別された位置に基づいて前記自動立体視ディスプレイ上に表示される前記画像の３Ｄ態様を調整し、第２モードにおいて、前記識別された位置と前記手術部位画像との関係に基づいて前記ロボットアームまたは器具を動かすように構成されたコントローラとを備える、ロボット外科手術装置の制御のためのシステム。
（項目２）
前記自動立体視ディスプレイは、偶数画素列と奇数画素列とを含む複数の画素を含むようにさらに構成され、
各画素列は、対応する垂直レンズの下方に配置され、
前記偶数画素列に対応する前記垂直レンズは、前記偶数画素列を前記ユーザの第１の眼によって知覚可能とするように構成され、
前記奇数画素列に対応する前記垂直レンズは、前記奇数画素列を前記ユーザの第２の眼によって知覚可能とするように構成される項目１に記載のシステム。
（項目３）
前記コントローラは、前記複数の画素のうちの１つ以上の画素を調整することによって、前記自動立体視ディスプレイ上に表示される前記画像を調整し、前記ユーザの知覚を改善するようにさらに構成される項目２に記載のシステム。
（項目４）
前記画像処理装置は、前記ユーザ画像撮影装置から取得された前記画像内の前記ユーザの前記第１の眼および前記第２の眼の位置を識別するようにさらに構成され、
前記コントローラは、前記ユーザの前記第１の眼の前記識別された位置または前記ユーザの前記第２の眼の前記識別された位置に部分的に基づいて、前記自動立体視ディスプレイ上に表示された前記複数の画素のうちの前記１つ以上の画素を調整するようにさらに構成される項目３に記載のシステム。
（項目５）
前記コントローラは、前記ユーザの前記第１の眼および前記第２の眼の位置に基づいて前記ユーザの視線の位置を検出し、前記ユーザの視線の位置の他の位置への変化を検出し、前記視線の位置と前記手術部位画像との前記関係に基づいて、前記患者画像撮影装置に連結された前記ロボットアームを動かすようにさらに構成される、項目１に記載のシステム。
（項目６）
前記患者画像撮影装置は、ビジュアルコンテンツを撮影して前記画像処理装置に送信する際に第１の所定のレイテンシを達成するように構成され、前記画像処理装置は、前記ビジュアルコンテンツを処理し、前記ユーザの視線の位置を判定し、前記患者画像撮影装置に制御信号を送信する際に、第２の所定のレイテンシを達成する、複数の並列実行サブプロセッサを備える項目５に記載のシステム。
（項目７）
前記コントローラは、前記検出されたユーザの視線の位置の変化に応じて、前記アームを動かす速度の大きさおよび方向を計算するようにさらに構成される、項目５に記載のシステム。
（項目８）
前記ユーザの視線の位置の変化を検出するために、前記コントローラは、前記検出されたユーザの視線の位置の変化が、所定の位置からの第１の所定の距離範囲外であるかどうかを判定するようにさらに構成される、項目５に記載のシステム。
（項目９）
前記コントローラは、前記検出されたユーザの視線の位置の変化が、前記第１の所定の距離範囲よりも大きい第２の所定の距離範囲外であるかどうかを判定し、前記検出されたユーザの視線の位置の変化が、前記第２の所定の距離範囲外であると判定されると、前記システムに通知を行わせるようにさらに構成される、項目７に記載のシステム。
（項目１０）
前記コントローラは、前記画像内の前記ユーザの視線が、閾値時間よりも長い時間にわたり前記位置で保持されているかどうかを判定し、前記視線が前記閾値時間より長い時間にわたり保持されていると、前記患者画像撮影装置に連結された前記ロボットアームを動かすようにさらに構成される、項目１に記載のシステム。
（項目１１）
前記コントローラが、
前記患者画像撮影装置を動かすための入力を検出し、
前記識別された位置の変化を判定し、
前記識別された位置の変化に基づいて、頭部の位置および／または速度を判定し、
前記判定された頭部の位置および／または速度に基づいて、頭部の傾き、頭部の向き、または頭部のロールのうちの１つ以上を判定するようにさらに構成される、項目１に記載のシステム。
（項目１２）
前記コントローラが、
前記識別された位置に基づいて頭部姿勢を判定し、
前記判定された頭部姿勢に基づいて並進速度を計算し、
前記計算された並進速度からのｘ座標をマッピングして入出力速度を得、
前記計算された並進速度からのｚ座標をマッピングし、前記判定された頭部姿勢に基づいてＹＺ方向速度を計算し、前記計算されたＹＺ速度をマッピングしてパン角速度を得、
前記判定された頭部姿勢からロール値を抽出し、
前記抽出されたロール値をマッピングしてロール角速度を得、
前記入出力速度、前記パン角速度、および前記ロール角速度に基づいて、前記患者画像撮影装置の姿勢を判定するようにさらに構成される、項目１に記載のシステム。
（項目１３）
前記ロボットアームは内視鏡を備える、項目１に記載のシステム。
（項目１４）
前記コントローラは、前記第１モードと前記第２モードとの両方で同時に実行するように構成される、項目１に記載のシステム。
（項目１５）
前記コントローラは、前記第１モードと前記第２モードとで別々に実行するように構成される、項目１に記載のシステム。
（項目１６）
ロボットアームに連結された患者画像撮影装置から取得された手術部位の画像を表示することと、
前記ユーザ画像撮影装置から取得された画像内のユーザの少なくとも一部の位置を識別することと、
前記識別された位置に基づいて、自動立体視ディスプレイ上に表示された前記画像の３Ｄ態様を調整することにより第１モードで動作することと、
前記患者画像撮影装置に連結された前記ロボットアームを前記識別された位置と前記手術部位画像との関係に基づいて動かすことにより第２モードで動作することとを含む、ロボット外科手術装置の制御のためのコンピュータ実施方法。
（項目１７）
前記自動立体視ディスプレイは、偶数画素列と奇数画素列とを含む複数の画素を含むようにさらに構成され、各画素列は対応する垂直レンズの下方に配置され、前記偶数画素列に対応する前記垂直レンズは、前記偶数画素列を前記ユーザの第１の眼によって知覚可能とするように構成され、前記奇数画素列に対応する前記垂直レンズは、前記奇数画素列を前記ユーザの第２の眼によって知覚可能とするように構成され、
前記複数の画素のうちの１つ以上の画素を調整することによって、前記自動立体視ディスプレイ上に表示される前記画像を調整することをさらに含む、項目１６に記載の方法。（項目１８）
前記ユーザ画像撮影装置から取得された前記画像内の前記ユーザの前記第１の眼および前記第２の眼の位置を識別することと、
前記ユーザの前記第２の眼の前記識別された位置の、前記ユーザの前記第１の眼の前記識別された位置に部分的に基づいて、前記自動立体視ディスプレイ上に表示された前記複数の画素のうちの前記１つ以上の画素を調整し、前記ユーザの知覚を改善することをさらに含む、項目１７に記載の方法。
（項目１９）
前記第１の眼および前記第２の眼の位置に基づいて前記ユーザの視線の位置を検出することと、
前記ユーザの視線の位置の別の位置への変化を検出することと、
前記患者画像撮影装置に連結された前記ロボットアームを前記視線の位置と前記手術部位画像との前記関係に基づいて動かすことをさらに含む、項目１６に記載の方法。
（項目２０）
前記検出されたユーザの視線の位置の変化に応じて、前記手術部位画像内での前記アームを動かす速度の大きさおよび方向を計算することをさらに含む、項目１９に記載の方法。
（項目２１）
コンテンツを撮影して送信する際に第１の所定のレイテンシを達成することと、前記ビジュアルコンテンツを処理し、前記ユーザの視線の位置を判定し、前記患者画像撮影装置に制御信号を送信する際に、第２の所定のレイテンシを達成することとをさらに含む、項目１９に記載の方法。
（項目２２）
前記ユーザの視線の位置の変化を検出することが、前記検出されたユーザの視線の位置の変化が所定の位置からの第１の所定の距離範囲外であるかどうかを判定することをさらに含む、項目１９に記載の方法。
（項目２３）
前記ユーザの視線の位置が、前記第１の所定の距離範囲よりも大きい第２の所定の距離範囲外であるかどうかを判定することと、前記ユーザの視線の位置が前記第２の所定の距離範囲外であると、前記システムに通知を行わせることとをさらに含む、項目２２に記載の方法。
（項目２４）
前記ユーザの視線が、閾値時間よりも長い時間にわたり前記位置で保持されているかどうかを判定することと、前記視線が前記閾値時間より長い時間にわたり保持されていると、前記患者画像撮影装置に連結された前記ロボットアームを動かすこととをさらに含む、項目１６に記載の方法。
（項目２５）
前記患者画像撮影装置を動かすための入力を検出することと、
前記識別された位置の変化を判定することと、
前記識別された位置の変化に基づいて、頭部の位置および／または速度を判定することと、
前記判定された頭部の位置および／または速度に基づいて、頭部の傾き、頭部の向き、または頭部のロールのうちの１つ以上を判定することをさらに含む、項目１６に記載の方法。
（項目２６）
前記識別された位置に基づいて頭部姿勢を判定することと、
前記判定された頭部姿勢に基づいて並進速度を計算することと、
前記計算された並進速度からのｘ座標をマッピングして入出力速度を得ることと、
前記計算された並進速度からのｚ座標をマッピングし、前記判定された頭部姿勢に基づいてＹＺ方向速度を計算し、前記計算されたＹＺ速度をマッピングしてパン角速度を得ることと、
前記判定された頭部姿勢からロール値を抽出することと、
前記抽出されたロール値をマッピングしてロール角速度を得ることと、
前記入出力速度、前記パン角速度、および前記ロール角速度に基づいて、前記患者画像撮影装置の姿勢を判定することをさらに含む項目１６に記載の方法。
（項目２７）
前記第１モードと前記第２モードとの両方を同時に実行することをさらに含む項目１６に記載の方法。
（項目２８）
前記第１モードと前記第２モードとを別々に実行することをさらに含む項目１６に記載の方法。
（項目２９）
プロセッサによって実行されたときに、
ロボットアームに連結された患者画像撮影装置から取得された手術部位の画像を表示させ、
前記ユーザ画像撮影装置から取得された画像内のユーザの少なくとも一部の位置を識別させ、
前記識別された位置に基づいて、自動立体視ディスプレイ上に表示された前記画像の３Ｄ態様を調整することにより第１モードで動作させ、
前記患者画像撮影装置に連結された前記ロボットアームを前記識別された位置と前記手術部位画像との関係に基づいて動かすことにより第２モードで動作させる命令を格納した、非一時的なコンピュータ可読媒体。
（項目３０）
プロセッサによって実行されたときに、偶数画素列と奇数画素列とを含む複数の画素を含む前記自動立体視ディスプレイであって、各画素列は対応する垂直レンズの下方に配置され、前記偶数画素列に対応する前記垂直レンズは、前記偶数画素列を前記ユーザの第１の眼によって知覚可能とするように構成され、前記奇数画素列に対応する前記垂直レンズは、前記奇数画素列を前記ユーザの第２の眼によって知覚可能とするように構成される、前記自動立体視ディスプレイに、前記複数の画素のうちの１つ以上の画素を調整することによって前記自動立体視ディスプレイ上に表示される前記画像を調整させる命令をさらに含む、項目２９に記載の非一時的なコンピュータ可読媒体。
（項目３１）
プロセッサによって実行されたときに、
前記ユーザ画像撮影装置から取得された前記画像内の前記ユーザの前記第１の眼および前記第２の眼の位置を識別させ、
前記ユーザの前記第２の眼の前記識別された位置の、前記ユーザの前記第１の眼の前記識別された位置に部分的に基づいて、前記自動立体視ディスプレイ上に表示された前記複数の画素のうちの前記１つ以上の画素を調整させる命令をさらに含む、項目３０に記載の非一時的なコンピュータ可読媒体。
（項目３２）
プロセッサによって実行されたときに、
前記第１の眼および前記第２の眼の位置に基づいて前記ユーザの視線の位置を検出させ、
前記ユーザの視線の位置の、前記自動立体視ディスプレイ上の別の位置への変化を検出させ、
前記患者画像撮影装置に連結された前記ロボットアームを前記視線の位置と前記手術部位画像との前記関係に基づいて動かす命令をさらに含む、項目２９に記載の非一時的なコンピュータ可読媒体。
（項目３３）
プロセッサによって実行されたときに、前記検出されたユーザの視線の位置の変化に応じて、前記手術部位画像内での前記アームを動かす速度の大きさおよび方向を計算させる命令をさらに含む、項目３２に記載の非一時的なコンピュータ可読媒体。
（項目３４）
プロセッサによって実行されたときに、ビジュアルコンテンツを撮影して前記画像処理装置に送信する際に第１の所定のレイテンシを達成させ、前記ビジュアルコンテンツを処理し、前記ユーザの視線の位置を判定し、前記患者画像撮影装置に制御信号を送信する際に、第２の所定のレイテンシを達成させる命令をさらに含む、項目３３に記載の非一時的なコンピュータ可読媒体。
（項目３５）
プロセッサによって実行されたときに、ユーザの視線の位置の変化を検出することが、前記検出されたユーザの視線の位置の変化が所定の位置からの第１の所定の距離範囲外であるかどうかを判定することをさらに含むようにする命令をさらに含む、項目３２に記載の非一時的なコンピュータ可読媒体。
（項目３６）
プロセッサによって実行されたときに、前記ユーザの視線が、閾値時間よりも長い時間にわたり前記位置で保持されているかどうかを判定させ、前記視線が前記閾値時間より長い時間にわたり保持されていると、前記患者画像撮影装置に連結された前記ロボットアームを動かす命令をさらに含む、項目２９に記載の非一時的なコンピュータ可読媒体。
（項目３７）
プロセッサによって実行されたときに、
前記患者画像撮影装置を動かすための入力を検出させ、
前記識別された位置の変化を判定させ、
前記識別された位置の変化に基づいて、頭部の位置および／または速度を判定させ、
前記判定された頭部の位置および／または速度に基づいて、頭部の傾き、頭部の向き、または頭部のロールのうちの１つ以上を判定させる命令をさらに含む、項目２９に記載の非一時的なコンピュータ可読媒体。
（項目３８）
プロセッサによって実行されたときに、
前記識別された位置に基づいて頭部姿勢を判定させ、
前記判定された頭部姿勢に基づいて並進速度を計算させ、
前記計算された並進速度からのｘ座標をマッピングして入出力速度を得させ、
前記計算された並進速度からのｚ座標をマッピングし、前記判定された頭部姿勢に基づいてＹＺ方向速度を計算し、前記計算されたＹＺ速度をマッピングしてパン角速度を得させ、
前記判定された頭部姿勢からロール値を抽出させ、
前記抽出されたロール値をマッピングしてロール角速度を得させ、
前記入出力速度、前記パン角速度、および前記ロール角速度に基づいて、前記患者画像撮影装置の姿勢を判定させる命令をさらに含む、項目２９に記載の非一時的なコンピュータ可読媒体。
（項目３９）
プロセッサによって実行されたときに、前記第１モードと前記第２モードとの両方を同時に実行させる命令をさらに含む、項目２９に記載の非一時的なコンピュータ可読媒体。
（項目４０）
プロセッサによって実行されたときに、前記第１モードと前記第２モードとを別々に実行させる命令をさらに含む、項目２９に記載の非一時的なコンピュータ可読媒体。

本開示の上記および他の態様、特徴、および利点は、添付の図面と関連させて以下の詳細な説明を考慮することにより、より明らかになるであろう。

図１は、本開示の一実施形態による立体視ディスプレイを含む例示的なロボット外科手術システムの図である。 図２は、図１に示す立体視ディスプレイ用の、本開示の一態様によるレイテンシ低減システムを示す。 図３は、図１に示す立体視ディスプレイ用の、本開示の別の態様によるレイテンシ低減システムを示す。 図４は、本開示の別の態様による、図１の立体視ディスプレイの簡略図である。 図５は、本開示の一態様による、図４の立体視ディスプレイの一部の拡大図である。 図６は、本開示の一態様による、ロボット外科手術システムの制御方法のフロー図である。 図７は、本開示の別の態様による、ロボット外科手術システムの制御方法のフロー図である。 図８は、本開示のさらに別の態様による、ロボット外科手術システムの制御方法のフロー図である。 図９は、本開示のさらにまた別の態様による、ロボット外科手術システムの制御方法のフロー図である。 図１０Ａは、本開示の一態様による、ユーザの頭部の速度および患者画像撮影装置の速度をマッピングするグラフである。 図１０Ｂは、本開示の別の態様による、ユーザの頭部の速度および患者画像撮影装置の速度をマッピングするグラフである。 図１１は、本開示のさらにまた別の態様による、ロボット外科手術システムの制御方法のフロー図である。

外科医にとって快適さが改善された、視覚化および制御が向上したロボット外科手術システムを提供するために、様々なシステムおよび方法が本明細書に記載されている。特に、システムは、外科医の動きに関連するデータを連続的に受信し、その動きを外科医のユーザ体験を最適化するために使用するように構成される。例えば、（眼追跡、頭部追跡、または外科医の顔の一部の追跡によって得られる）外科医の動きは、外科医の位置を識別するために使用される。そして、識別された位置は、外科医が動いたかどうかを判定するために使用され、それによって、選択されたモードに応じて、表示された画像の３Ｄ態様を、外科医の視界を最適にするために調整してもよく、および／または識別された位置と手術部位画像との関係に基づいて、ロボットアームまたは器具を動かすために使用されてもよい。

本明細書で使用される場合、「臨床医」、「外科医」、「観察者」という用語は、一般に、本明細書に記載の自動立体視ディスプレイ装置のユーザを指す。また、「第１の眼」および「第２の眼」という用語は、本明細書ではユーザの左眼および右眼をそれぞれ指すのに使用されるが、この使用は例として提供されるものであり、限定として解釈されるべきではない。本明細書を通じて、「近位」という用語は、装置またはその構成部品の患者から最も遠い部分を指し、「遠位」という用語は、装置またはその構成部品の患者に最も近い部分を指す。

図１は、本明細書の様々な例示的実施形態による、用いられてもよい例示的なロボット外科手術システム１００を示す。図１に示すシステム１００の構成部品の具体的な数、およびその配置ならびに構成は、例示のためにのみ提供され、限定として解釈されるべきではない。例えば、本明細書の様々な実施形態は、図１に示される全ての構成部品よりも少ないかまたは多くの構成部品を用いる。さらに、図１に描く例示的なロボット外科手術システム１００は、本明細書の様々な例示的実施形態が適用可能な例示的コンテキストとして提供される。しかし、本明細書の様々な例示的実施形態は、ロボット外科手術システム以外のコンテキスト、例えば一般的な立体視ディスプレイのコンテキストにおいても適用可能である。

システム１００は、外科手術中に患者１０４が横たわる手術台１０２と、交換可能に固定された対応する外科手術器具１０８を有するロボットアーム１０６と、臨床医（本明細書では「ユーザ」とも呼ぶ）が外科手術中にインタラクトするために使用するハンドル１１２を有するコンソール１１０と、コンソール１１０をロボットアーム１０６、外科手術器具１０８、および画像撮影装置１０９に連結するコントローラ１１４および１つ以上のモータ１１６とを含む。ロボットアーム１０６は、それぞれ、手術台１０２に隣接して、および／または外科手術を受けている患者１０４の範囲内に配置された、対応するベースに取り付けられている。

コントローラ１１４は、１つ以上のプロセッサ１１８とメモリ１２０とを含み、コンソール１１０と一体化されてもよく、または手術室内の独立型装置として提供されてもよい。以下でさらに詳細に説明するように、プロセッサ１１８は、メモリ１２０に格納された命令１３６（一例ではソフトウェア）を実行し、本明細書の様々な実施形態の手順を実行する。理解されるように、プロセッサ１１８およびメモリ１２０の実装は、一例としてのみ提供されており、限定として解釈されるべきではない。例えば、本開示のいずれかの実施形態の手順は、ハードウェア構成部品、ファームウェア構成部品、ソフトウェア構成部品、および／またはそれらの任意の組み合わせによって実装されてもよい。

外科手術システム１００の動作中、ハンドル１１２は臨床医によって動かされ、ロボットアーム１０６および／または外科手術器具１０８の作業端の対応する動きおよび／または作動をもたらす。ハンドル１１２がコントローラ１１４に信号を提供した後、コントローラ１１４は対応する信号を１つ以上の駆動モータ１１６に供給する。１つ以上の駆動モータ１１６は、ロボットアーム１０６および／または外科手術器具１０８を動かすために、ロボットアーム１０６に連結される。

ハンドル１１２は、様々な組織パラメータまたは状態、一例では操作、切断、またはその他の処理による組織抵抗、器具による組織への圧力、組織温度、組織インピーダンスなどに関するフィードバックを臨床医に提供するための、様々な触覚部１２４を含んでもよい。理解され得るように、このような触覚部１２４は、実際の動作状態をシミュレートする、向上した触覚フィードバックを臨床医に提供する。触覚部１２４は、振動モータ、電気活性ポリマー、圧電素子、静電装置、亜音速音響波表面作動装置、逆電子振動、またはユーザに触覚フィードバックを提供することができる任意の他の装置を含んでもよい。ハンドル１１２はまた、実際の動作状態を模倣する臨床医の能力をさらに向上させる、繊細な組織操作または治療のための様々な異なるアクチュエータ１２６を含んでもよい。

ハンドル１１２に加えて、コンソール１１０は、ユーザからの入力を受け付けるための、１つ以上の入力装置１３８を含む。例えば、入力装置１３８は、タッチスクリーン、マウス、キーボード、ジョイスティック、またはユーザからの入力をシステム１００に伝達するのに適した任意の他の装置を含むが、これらに限定されない。一実施形態では、入力装置１３８は、ユーザが自動立体視ディスプレイ装置１２２（本明細書では「自動立体視ディスプレイ」または単に「ディスプレイ」とも呼ばれる）またはタッチスクリーン（含まれる場合）上に表示される選択、例えばプルダウンメニュー、ポップアップウィンドウ、または他の提示機構からの選択を可能にするように構成される。別の実施形態では、入力装置１３８は、例えば手術部位画像をズームインまたはズームアウトしたり、手術部位画像上の位置を選択したりして、ユーザが手術部位画像を操作することを可能にするように構成される。

外科手術器具１０８は、限定ではなく例として、画像撮影装置１０９、エンドエフェクタ、把持器、ナイフ、ハサミなどのような任意の種類の外科手術器具であってもよい。画像撮影装置１０９は、手術部位の立体画像を撮影するように構成され、立体画像撮影装置を含むカメラまたはプローブであってもよい。患者画像撮影装置として構成される適切なプローブには、内視鏡などが含まれるが、これらに限定されるものではない。プローブは、外科手術中に患者の内部の関心領域の立体画像を撮影するために患者に挿入される。本明細書のいくつかの実施形態によれば、画像撮影装置によって撮影された立体画像は、画像を臨床医に表示するコンソール１１０の自動立体視ディスプレイ１２２に伝達される。

以下でさらに詳細に説明するように、本明細書のいくつかの例示的な実施形態では、コンソール１１０は、ユーザ（図１では図示せず）の１つ以上の画像を撮影する画像撮影装置１２８（一例では１つ以上のカメラ）を含む。例えば、画像撮影装置１２８は、ユーザの静止画像やユーザの映像などを定期的に撮影するように構成されてもよい。別の実施形態では、画像撮影装置１２８は、ユーザの眼、顔、頭部または他の特徴を追跡するために使用される。この点について、ユーザの画像が処理されるときに検出される可能性がある固定位置を提供するために（図４に描かれる）ユーザによって装着されるウェアラブル１２９の使用によって、追跡が向上され得る。ウェアラブル１２９は、眼鏡、ヘッドバンド、ユーザ上の位置に配置された一組のマーカ、または別の構成の形態で提供されてもよい。画像撮影装置１２８はディスプレイ１２２と一体化することができ、および／またはディスプレイ１２２に位置固定することができ、それによって画像撮影装置１２８とディスプレイ１２２との間の位置関係がわかり、様々な計算においてプロセッサ１１８に依拠され得るようにする。別の例では、プロセッサ１１８は、画像撮影装置１２８によって撮影された画像を利用し、例えば判定されたユーザの位置を所定の位置基準と比較する認識および追跡アルゴリズムを用いることによって、ユーザの位置を判定する。プロセッサ１１８は、例えば、ディスプレイ１２２を介して視覚的に、１つ以上のオーディオ装置（一例ではスピーカ）１３０を介して聴覚的に、および／またはハンドル１１２による触覚フィードバックを介してユーザに提供される比較の結果に基づいて、メッセージを生成させる。そのようなメッセージをユーザに提供することにより、基準が満たされている場合には、自動立体視のビジュアルコンテンツの知覚を改善するためにより最適な位置へ動かす方法を、ユーザに通知することができる。

自動立体視のビジュアルコンテンツのユーザの知覚をさらに改善するために、システム１００は、画像撮影装置１２８によって撮影されたユーザの画像および／または画像撮影装置１０９によって撮影された手術部位画像の間の遅延時間を短縮するように構成されるレイテンシ低減システム１４０を含む。一実施形態では、プロセッサ１１８は、レイテンシ低減システム１４０と通信するか、またはレイテンシ低減システム１４０を含む。一実施形態では、プロセッサは、レイテンシ低減システム１４０が＜約６０ミリ秒（ｍｓ）のレイテンシ目標を達成することを可能にするために並列に動作する、１つ以上のサブプロセッサを含む。一実施形態によれば、レイテンシ低減システム１４０は、グラフィカル・ユーザ・インターフェースが画像撮影装置１０９によって撮影された手術部位の映像ストリーム上にオーバーレイされたグリーンバックを用いる。そのような実施形態はデジタル操作を用いないため、画像強調、立体視フォーマットへの変換、および遠隔視聴または録画は実施されない。別の実施形態では、レイテンシ低減システム１４０は、頭部、眼、および／または顔のリアルタイムの動きと手術部位画像の表示との間のレイテンシを最小にするために、コントローラ１１４または自動立体視ディスプレイシステム１３４内に実装されるか、またはコントローラ１１４または自動立体視ディスプレイシステム１３４と通信する、追加の構成部品を含み、上述の実施形態の欠点を克服する。

図２は、本開示の一態様による、システム１００のタワーに実装されるレイテンシ低減システム１４０のブロック図である。一実施形態によれば、レイテンシ低減システム１４０は、図１のコントローラ１１４に連結された周辺構成部品相互接続（ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ：ＰＣＩ）カード２０２と、エンコーダ２０４と、デコーダ２０６とを含む。別個の構成部品として図示されているが、他の実施形態では、ＰＣＩカード２０２、エンコーダ２０４、およびデコーダ２０６のうちの２つ以上は、単一の構成部品として構成されてもよいことが理解されよう。

動作中、内視鏡などの画像撮影装置１０９は、映像をエンコーダ２０４に送信する。エンコーダ２０４は、映像を符号化された画像データに加工し、それによって映像を所望のフォーマットに変換する。加工後、符号化された画像データはＰＣＩカード２０２に送信され、ＰＣＩカード２０２は画像データを操作して合成する。一実施形態では、データはその後コントローラ１１４にさらに伝達され、手術室のユーザが見るためにディスプレイ（図示せず）に画像データとして送信されるか、後の処理のためにメモリ１２０に格納される。別の実施形態では、符号化された画像データは、ＰＣＩカード２０２からデコーダ２０６に伝達され、デコーダ２０６は、画像データを元のフォーマット、例えば映像に変換するために、画像データを復号する。次に、映像はディスプレイ１２２に送信されて表示される。

映像を強調するために、グラフィカル・ユーザ・インターフェースは、コントローラ１１４またはコンピュータ１２３のいずれかによって映像にオーバーレイされる。一実施形態では、ディスプレイ１２２上の画像撮影装置１２８は、ユーザの位置を追跡し、ユーザの位置に関連するデータは、コントローラ１１４に送信されて、ディスプレイ１２２のための所望の映像フォーマットを生成する。このように、追跡されたユーザの位置の送信は、イーサネット（登録商標）または別の低レイテンシ通信プロトコルを介して送信される。上述のアーキテクチャは、ユーザ画像撮影装置１２８によって撮影された画像から導き出された、ユーザに対応する位置データを考慮に入れつつ、画像撮影装置１０９からの画像を処理、合成および／またはフォーマットすることを可能にする。

図３は、本開示の別の態様による、図１の自動立体視ディスプレイシステム１３４に含まれるレイテンシ低減システム１４０を示すブロック図である。ここで、レイテンシ低減システム１４０は、周辺構成部品相互接続（ＰＣＩ）カード３０２と、コンピュータ３２３と、エンコーダ３０４と、デコーダ３０６と、場合により画像撮影装置３２８とを含む。理解されるように、いくつかの実施形態では、これらの構成部品のうち２つ以上が単一の構成部品として構成されてもよい。エンコーダ３０４は、画像撮影装置１０９から映像フォーマットで映像を受信し、コンピュータ１２３からデータを受信する。受信された映像は、符号化された画像データ、例えばコンピュータ３２３による処理のための所望のフォーマットのデータに変換される。そして、符号化された画像データは、コンピュータ３２３に連結されたＰＣＩカード３０２に提供される。コンピュータ３２３は、画像撮影装置３２８から追加の画像データを受信してもよく、画像撮影装置３２８は、ユーザの位置を識別する目的で（コンピュータ３２３による処理に適したフォーマットで）ユーザの映像を撮影してもよい。一実施形態では、撮影されたユーザの映像に頭部追跡、眼追跡または顔追跡アルゴリズムが適用され、その結果が、符号化された画像データの修正およびフォーマットに使用される。そして、修正された符号化された画像データはデコーダ３０６に送信され、デコーダ３０６は、画像データを復号し、さらに画像データを元のフォーマットにフォーマットする。そして、復号された画像データは、映像としてディスプレイ１２２に提供され、表示される。図２に関連して説明したアーキテクチャと同様に、上述のアーキテクチャも、ユーザ画像撮影装置３２８によって撮影された画像から導き出された、ユーザに対応する位置データを考慮に入れつつ、画像撮影装置１０９からの画像を処理、合成および／またはフォーマットすることを可能にする。

図１に戻ると、コンソール１１０は、ディスプレイ１２２を再配置するように構成された１つ以上のモータ１３２も含み、プロセッサ１１８は、撮影されたユーザの画像に基づいてユーザの位置を判定し、判定されたユーザの位置を所定の位置基準と比較し、比較結果に基づいてモータ１３２にディスプレイ１２２を再配置させるように構成される。１つ以上のモータ１３２は、それぞれ単一の軸または複数の軸に沿ったディスプレイ１２２の再配置を容易にする、単一軸モータまたは多軸（一例では３軸）モータである。ユーザ位置に基づいてディスプレイ１２２を再配置することにより、ディスプレイ１２２が、ユーザに対して、立体視のビジュアルコンテンツの知覚を改善するためにより最適な位置を維持することが可能になる。

システム１００の特定の構成部品（例えば、構成部品１２０，１２２，１２８，１３０および／または１３２）は、本明細書のいくつかの例示的実施形態による自動立体視ディスプレイシステム１３４を表してもよい。ここで、図４および図５を参照すると、例示的な自動立体視ディスプレイシステム１３４およびその自動立体視ディスプレイ１２２のさらなる態様が示されている。図４および図５に示すシステム１３４の構成部品の具体的な数、およびその配置ならびに構成は、例示のためにのみ提供され、限定として解釈されるべきではない。例えば、本明細書のいくつかの実施形態は、図４および図５に示される構成部品よりも少ないかまたは多くの構成部品を用いる。また、明瞭にするために、システム１３４のいくつかの構成部品は、図４および図５では省略されている。さらに、本明細書の自動立体視ディスプレイシステム１３４は、ロボット外科手術システム以外のコンテキスト、例えば一般的な自動立体視ディスプレイのコンテキストにおいても適用可能である。

図４は、自動立体視ディスプレイシステム１３４の一部の斜視図を含み、本明細書の様々な実施形態による、自動立体視ディスプレイ１２２、画像撮影装置１２８、オーディオ装置１３０、モータ１３２の例示的な配置を示す。ディスプレイ１２２は、スクリーン４００と、スクリーン４００の前面に配置されたレンチキュラレンズ層４０２とを含む。スクリーン４００は、特定の画素によって表示されたビジュアルコンテンツを、レンチキュラレンズ層４０２を通して、ユーザ４０４の特定の眼に導く画素を含む。特に、図５に示すように、スクリーン４００は、自動立体視ディスプレイ１２２の第１の組の画素５０６（一例では、奇数画素列）と、自動立体視ディスプレイ１２２の第２の組の画素５０８（一例では、偶数画素列）とを含む。レンチキュラレンズ層５０２は、対応する画素列の上に配置された複数の垂直レンズ５０２ａ、５０２ｂを含む。例えば、第１の組の画素３０６（例えば、奇数画素列）は、第１の組の画素５０６のビジュアルコンテンツがユーザの第１の眼によって知覚されることを可能にするのに適した角度で導かれるように構成される、１つ以上の垂直レンズ５０２ａとオーバーレイされる。第２の組の画素５０８（例えば、偶数画素列）は、第２の組の画素３０８のビジュアルコンテンツがユーザの第２の眼によって知覚されることを可能にするのに適した角度で導かれるように構成される、１つ以上の垂直レンズ５０２ｂとオーバーレイされる。

例示的な自動立体視ディスプレイシステム１３４を説明したところで、図６を参照する。図６は、本明細書の一実施形態による、自動立体視ディスプレイシステム１３４を制御するための例示的なコンピュータ実装手順６００を示す。一実施形態によれば、ロボット外科手術システム１００は、自動立体視ディスプレイシステム１３４の３Ｄ態様が調整される、第１モードで動作されてもよく、またはユーザの位置と手術部位画像との関係が、ロボットアーム１０６および／またはロボットアーム１０６に連結された患者画像撮影装置１０９を動かすために使用される、第２モードで動作されてもよい。手順６００は、メモリ１２０（図１）に格納された命令１３６を実行するプロセッサ１１８によって少なくとも部分的に実施されてもよい。また、図６の手順６００に示されるステップの特定の順序は、限定ではなく例として提供される。したがって、手順６００のステップは、本開示の範囲から逸脱することなく、図６に示される順序以外の順序で実行されてもよい。また、図６の手順６００に示されるいくつかのステップは、互いに順番に実行されるのではなく、互いに並行して実行されてもよい。

一実施形態によれば、手順６００は、ブロック６０２において自動立体視ディスプレイ１２２上に手術部位画像を表示することを含む。例えば、ロボットアーム１０６に連結された画像撮影装置１０９は、手術部位内に配置され、手術部位画像は、画像撮影装置１０９によって撮影される。コントローラ１１４は、撮影された手術部位画像を表す信号を自動立体視ディスプレイ１２２に送信し、自動立体視ディスプレイ１２２は手術部位画像を表示する。

ユーザが自動立体視ディスプレイ１２２を観察している間に、自動立体視ディスプレイ１２２に連結された画像撮影装置１２８は、ブロック６０４においてユーザの画像を撮影する。上述のように、画像撮影装置１２８は、映像フォーマットなどで一連の画像を撮影するか、または定期的にユーザの静止画像を撮影する。

ブロック６０６において、ユーザの１つ以上の特徴の位置が、撮影されたユーザ画像から識別される。一例では、ユーザの１つ以上の特徴は、ユーザの額、顎、鼻、右眼、左眼、ユーザの眼の間での位置、またはユーザの他の特徴などの、ユーザの顔の特徴を含む。別の例では、位置を識別するためのユーザの１つ以上の特徴は、ユーザの頭部である。ユーザの１つ以上の特徴の位置の検出は、ウェアラブル１０９（例えば、眼鏡、ヘッドバンド、ステッカーまたはユーザが装着する他のウェアラブル）の使用によって、さらに向上してもよい。そのような実装では、ウェアラブル１０９は、ユーザの画像において検出されてもよい１つ以上のマーカを含み、マーカは、ユーザの部分の位置を確立するために使用されてもよい。一実施形態では、ユーザの選択された特徴の認識および追跡のための適切なアルゴリズムが、撮影された一連の画像に適用される。例えば、眼追跡または頭部追跡アルゴリズムを使用して、ロボット外科手術システム１０の使用中に常にユーザの眼または頭部を追跡する。追跡されたユーザの選択された特徴に関連するデータは、メモリ１２０に格納される。

ブロック６０８において、第１の動作モード、第２の動作モード、またはその両方の選択を受け付けたかどうかの判定が行われる。選択は、入力装置１３８を介して受け付けることができる。第１の動作モードの選択が受け付けられた場合、手順６００はブロック６１０に進み、ブロック６０６において取得された識別されたユーザの位置に基づいて、自動立体視ディスプレイ１２２上の３Ｄ態様が調整される。一実施形態では、ユーザの第１および第２の眼の位置を計算するための眼追跡アルゴリズムから判定される、ユーザの第１の眼および第２の眼の配置を検出することによって、ユーザの位置が識別される。あるいは、ユーザの頭部の配置を検出することによって、ユーザの位置が識別される。眼追跡技術と同様に、頭部追跡は、ユーザの頭部の位置を固定し、適切なアルゴリズムは、頭部の固定位置に基づいて位置を計算する。

３Ｄ態様の調整は、ディスプレイ１２２の前面の第１の空間位置から第２の空間位置へのユーザの動きに基づいて、交互の画素列に示される画像の部分を調整することによって行われる。例えば、ユーザの左眼によって知覚される奇数画素列の１つ以上の画素が調整される、および／またはユーザの右眼によって知覚される偶数画素列の１つ以上の画素が調整される。その結果、奇数画素列上に配置された対応する垂直レンズ４０２ａは、左眼に画像の対応する変化を知覚させることを可能にし、偶数画素列の上に配置された垂直レンズ４０２ｂは、右眼に画像の対応する変化を知覚させることを可能にする。ブロック６０６において識別されたユーザの位置が変化するにつれて、ブロック６１０を連続的に繰り返す。

第２の動作モードの選択が受け付けられた場合、手順６００はブロック６１２に進む。ブロック６１２において、ブロック６０６において取得された識別されたユーザの位置とブロック６０２において表示された手術部位画像との関係に基づいて、ロボットアーム１０６、器具１０８、または画像撮影装置１０９が動かされる。ブロック６０８に戻ると、第１および第２モードの両方の選択が受け付けられた場合、手順６００は、ブロック６１０および６１２の動作を順番にまたは同時に実行する。

図７は、手順６００のブロック６１２で説明された、識別されたユーザの位置と手術部位画像との関係に基づいて、ロボットアーム１０６、および特に、ロボットアーム１０６に連結された画像撮影装置１０９を制御するための、例示的なコンピュータ実装手順７００であり、別の実施形態によれば、識別されたユーザの位置はユーザの視線に基づく。手順７００は、メモリ１２０（図１）に格納された命令１３６を実行するプロセッサ１１８によって少なくとも部分的に実施されてもよい。また、図７の手順７００に示されるステップの特定の順序は、限定ではなく例として提供される。したがって、手順７００のステップは、本開示の範囲から逸脱することなく、図７に示される順序以外の順序で実行されてもよい。さらに、図７の手順７００に示されるいくつかのステップは、互いに順番に実行されるのではなく、互いに並行して実行されてもよい。

ブロック７０２において、ユーザの視線の位置は、例えば、手順６００のブロック６０２から、識別されたユーザの位置に基づいて判定される。一実施形態では、ユーザの視線は、例えば、ユーザが注目しているスクリーン上の点にユーザの眼の焦点が合っているときなど、ユーザの眼で対象物を見るときの、ユーザの瞳孔の位置である。識別されたユーザの位置は、撮影されたユーザ画像からの第１の眼および第２の眼の位置を含んでもよい。この点について、撮影されたユーザ画像からユーザの視線の位置を計算するのに適した様々なアルゴリズムのいずれかが用いられる。例えば、ユーザの視線の位置は、撮影された一連のユーザ画像を含む画像データ（例えば、特にユーザの眼を含む、撮影されたユーザの映像）に眼追跡アルゴリズムを適用することによって判定されてもよく、それによって眼の位置を判定することができる。

そして、ブロック７０４において、ユーザの視線の位置の変化が検出されたかどうかの判定が行われる。一実施形態では、第１の時間インスタンスにおけるユーザの視線の第１の位置は、第２の時間インスタンスにおけるユーザの視線の第２の位置と比較される。例えば、ユーザの視線の第１の位置は、第１の時間インスタンスで撮影されたユーザの映像から取得されてもよく、ユーザの視線の第２の位置は、時間（例えば、第２の時間インスタンス）の経過後に撮影された同じ映像から取得されてもよい。２つの時間インスタンスにおける２つの位置の距離の差が閾値距離よりも大きい場合、位置の変化が検出され、手順７００はブロック７０６に進む。距離の差が閾値距離未満である場合、ブロック７０４の動作が繰り返され、位置の変化は検出されない。

ブロック７０４における動作の別の例では、ユーザの視線が第１の所定の距離範囲外にあるかどうかの判定が行われる。第１の所定の距離範囲は、ユーザの視線の位置の変化の検出を引き起こさない初期視線位置（「デッドゾーン」の一部とも呼ばれる）からの許容可能な距離範囲を含んでもよい。画像のビューをズームインまたはズームアウトすることができる実施形態では、第１の所定の距離範囲に含まれる特定の距離をそれに応じてスケーリングしてもよいことが理解されよう。別の実施形態では、第１の所定の距離範囲は、初期視線位置に隣接する許容可能な距離であってもよい。例えば、選択された位置を示す入力は、入力装置１３８を介して受け付けられてもよい。ユーザの視線が第１の所定の距離範囲外ではないと判定された場合、制御はブロック７０２に戻る。ユーザの視線が第１の所定の距離範囲外であると判定された場合、制御はブロック７０６に進み、位置の変化が検出される。

ブロック７０８において、検出された位置の変化に応じて、ユーザの視線が第２の所定の距離範囲外にあるかどうかの判定が行われる。具体的には、第２の所定の距離範囲は、自動立体視ディスプレイ装置１３４のディスプレイ１２２に表示された画像の外にあるユーザの視線に対応する、眼が動く距離範囲を含んでもよい。例えば、第２の所定の距離範囲は、ディスプレイ１２２に表示される画像の外周を含み、かつその外周の外にある距離を含んでもよい。

ユーザの視線が第２の所定の距離範囲外ではないと判定された場合、手順はブロック７１０に続く。ブロック７１０において、ロボットアーム１０６は、ブロック７０４からユーザの視線が導かれる自動立体視ディスプレイ上に表示された画像上の位置に対応する、手術部位内の標的位置に、患者画像撮影装置１０９を動かす。この点について、ユーザの視線の位置の変化に基づいて、ロボットアーム１０６を動かす速度の大きさおよび方向が計算される。例えば、患者画像撮影装置１０９は、ビジュアルコンテンツを撮影してコンピュータ３２３に送信する際に、第１の所定のレイテンシを達成するように構成される。一実施形態では、第１の所定のレイテンシは、約６０ｍｓ未満の範囲内にある。コンピュータ３２３は、ビジュアルコンテンツの処理、例えばデジタル処理を行い、ユーザの視線の位置を判定し、患者画像撮影装置１０９に制御信号を送信する際に、第２の所定のレイテンシを達成する、複数の並列実行サブプロセッサを備える。第２の所定のレイテンシは、約４０ｍｓ未満の範囲内にある。ロボットアーム１０６は、患者画像撮影装置１０９を、ユーザの眼の焦点を自動立体視ディスプレイ１２２上に表示された画像の中心に合わせるような位置に動かす。一実施形態では、ユーザの視線の位置が変わった瞬間からロボットアーム１０６が位置に動くのに許容される総レイテンシは、約１００ｍｓ未満である。

ブロック７０８に戻ると、ユーザの視線が第２の所定の距離範囲外にあると判定された場合、手順はブロック７１２に続く。ブロック７１２において、ロボットアーム１０６は、ユーザの視線が第２の所定の距離範囲外にあるという判定に応じて、ユーザの視線の方向および距離に対応する速度および方向で患者画像撮影装置１０９を動かし続ける。ユーザの視線が第２の所定の距離範囲内に戻るとき、患者画像撮影装置１０９の動きが停止することを通知することができる。通知は、例えば、自動立体視ディスプレイ１２２上に表示されたベクトルもしくは矢印を介して、またはテキスト命令によって視覚的に、スピーカ１３０からの音声コマンドによって聴覚的に、または入力用ハンドル１１２を介してユーザに伝達される振動などを通じて触覚的に示される。ベクトルまたは矢印が表示される一実施形態では、患者撮影画像装置１０９が、自動立体視ディスプレイ１２２の中心のような元の位置から遠ざかるにつれて矢印が長くなり、患者撮影画像装置１０９が元の位置に近づくにつれて矢印が短くなる。

他の実施形態では、上記の動作に加えて、手順７００が追加の動作を含んでもよい。例えば、一実施形態によれば、ブロック７０８の動作を実行する前に、ブロック７１４において手術部位内の標的位置の確認が行われる。標的位置は、画像撮影装置１０９とは異なる第２の画像撮影装置から撮影された画像によって表される。標的位置は、手術部位に隣接する位置であってもよいし、メモリ１２０内のデータベースに格納されてもよく、自動立体視ディスプレイ１２２の一部、例えばポップアップウィンドウ中に、または入力装置１３８として機能するタッチスクリーン上に表示される。表示された画像が手術部位内の標的位置に対応することを確認する入力が受け付けられる。一実施形態では、入力装置１３８への入力（例えば、タッチスクリーンが含まれる場合、タッチスクリーン上でのキーボード上のボタンの押下またはマウスのクリック）を介して確認が受け付けられる。別の実施形態では、確認は、撮影されたユーザの画像において検出されたジェスチャを介して受け付けられる。例えば、まばたきまたは眼の開閉などの特定の眼のジェスチャを識別する適切なアルゴリズムを実装してもよい。

別の実施形態によれば、ブロック７０６において、ユーザの視線の位置が第１の所定の距離範囲外であるかどうかを判定することに関連して、ブロック７１６において、ユーザの視線が、閾値時間より長い時間、その位置に保持されているかどうかの判定が行われる。閾値時間未満の時間は、ユーザの視線の位置の変化が検出されることなしに位置間の眼球運動を可能にするバッファをユーザに提供する、デッドゾーンの一部であってもよい。視線が閾値時間よりも長くない時間にわたってその位置に保持されている場合、手順７００はブロック７０２を繰り返す。視線が閾値時間よりも長い時間にわたる場合、手順７００はブロック７０６に進み、位置の変化が検出される。

図８は、別の実施形態による、手順６００のブロック６１２で説明された、識別されたユーザの位置と手術部位画像との関係に基づいて、ロボットアーム１０６、および特に、ロボットアーム１０６に連結された患者画像撮影装置１０９の動きを制御するための、例示的なコンピュータ実装手順８００である。手順８００は、メモリ１２０（図１）に格納された命令１３６を実行するプロセッサ１１８によって少なくとも部分的に実施されてもよい。また、図８の手順８００に示されるステップの特定の順序は、限定ではなく例として提供される。したがって、手順８００のステップは、本開示の範囲から逸脱することなく、図８に示される順序以外の順序で実行されてもよい。さらに、図８の手順８００に示されるいくつかのステップは、互いに順番に実行されるのではなく、互いに並行して実行されてもよい。

ブロック８０２において、ユーザの位置は、例えば、手順６００のブロック６０２から識別される。一実施形態では、ユーザの位置は、画像撮影装置１２８によって撮影されたユーザ画像から識別される。例えば、ユーザの映像または一連の画像が画像撮影装置１２８を介して撮影され、ユーザの固定位置（ユーザの頭部またはユーザの眼の位置など）を追跡するための追跡アルゴリズムが、撮影されたユーザの映像または一連の画像に適用される。

そして、ブロック８０４において、患者画像撮影装置１０９を動かすための入力が検出されたかどうかの判定が行われる。入力は、例えば、ユーザがボタンを押すこと、マウスに入力を提供すること、またはタッチスクリーン上でアイコンを選択することによって、入力装置１３８から受け付けてもよい。代替的に、入力は、ユーザによって行われ、画像撮影装置１２８によって撮影されたユーザの映像または一連の画像から識別されたジェスチャの検出によって、受け付けてもよい。入力が検出されない場合、ブロック８０４が繰り返される。入力が検出された場合、手順８００はブロック８０６に進む。

次に、ブロック８０６において、ユーザの位置の変化が判定される。一実施形態では、ユーザの位置の変化は、追跡されたユーザの位置において検出される。例えば、ｘ座標、ｙ座標、またはｚ座標の配置の変化、もしくはロール、ピッチまたはヨーの変化などのユーザの頭部の位置の変化は、ユーザの位置の変化とみなされてもよい。ユーザの位置の変化は、例えばブロック８０２における第１の時間インスタンスにおけるユーザの位置を、ブロック８０６における第２の時間インスタンスにおけるユーザの位置と比較することによって判定されてもよい。一実施形態によれば、第１の時間インスタンスにおけるユーザの位置は、一連の画像またはユーザの映像における第１のフレームから取得され、第２の時間インスタンスにおけるユーザの位置は、一連の画像またはユーザの映像における次のフレームから取得される。一実施形態では、ユーザの位置の変化が意図された動作であるかどうかを判定するために、ユーザの位置の変化が閾値時間よりも長い時間、例えば、１秒以上にわたって、維持されたかどうかの判定を行ってもよい。別の実施形態では、追加的にまたは代替的に、ユーザの位置の変化が、ユーザの初期位置から所定の距離範囲外にあるかどうかの判定が行われる。さらに別の実施形態では、追加的にまたは代替的に、ユーザの位置が変化する速度が閾値速度を上回るかどうかの判定が行われる。ユーザの位置が初期位置から所定の距離範囲内にあるか、またはユーザの位置が変化する速度が閾値速度を下回る（言い換えれば、「デッドゾーン」内にある）場合、ユーザの位置の変化は意図された動作として検出されない。ユーザの位置の変化が判定された場合、方法８００はブロック８０８に続く。位置の変化がないと判定された場合、ブロック８０６の動作が繰り返される。

ユーザの位置の変化が検出された場合、ブロック８０８において、ユーザの頭部の位置および／または速度の判定が行われる。特に、ユーザの画像や映像を用いて抽出したデータから、ユーザの頭部の位置および／または速度を判定するための計算が行われ、それによってユーザの頭部の動きの速度、距離、および方向を取得する。ユーザの頭部の動きの様々な態様は、判定された頭部の位置および／または速度から取得されてもよい。また、ユーザの頭部の動きの態様は、患者画像撮影装置１０９の動きおよび／または装置１０９によって撮影された画像の操作にマッピングされてもよい。例えば、頭部の配置は、患者画像撮影装置１０９の配置にマッピングされてもよく、頭部の速度は、患者画像撮影装置１０９の配置にマッピングされてもよい。

一実施形態では、ユーザの頭部の傾きは、ブロック８１０において判定された頭部の位置および／または速度から取得される。頭部の傾きとは、頭部を「いいえ」の動作で振るときと同様に、ユーザが頭部を左および／または右に動かしたときの動きである。頭部の傾きは、ブロック８１２においてパンニングを開始するために使用されてもよい。ブロック８０６，８０８，８１０、および８１２は、８０６になるまで繰り返され、ユーザの位置の変化は検出されない。

ユーザの頭部の位置および／または速度は、ブロック８１４において頭部の向きを判定するために使用することもできる。具体的には、データを用いて、頭部が初期位置に接近しているか遠ざかっているか、および頭部が動かされた速度を計算する。そして、アルゴリズムはデータに適用され、出力は、現在表示されている画像内の標的位置からブロック８１６においてズームインさせるか、またはブロック８１８においてズームアウトさせる。一例では、標的位置は、現在表示されている画像の中心であってもよく、それによって、頭部が固定位置（例えば、ディスプレイ１２２がある垂直面）に接近するように動かされた場合、ブロック８１６において、患者画像撮影装置１０９を標的位置に接近させるように動かすことによって、または標的位置で画像を拡大することによって、画像がズームインされる。同様に、頭部が固定位置から遠ざかるように動かされた場合、ブロック８１８において画像がズームアウトされる。ズームインまたはズームアウトの速度は、スケーリングされてもよい。例えば、頭部の向きの変化の速度は、ズームされた距離に正比例してもよい。代替的には、他のスケーリングを実施してもよい。また、ユーザがズーム速度に対する頭部の向きの速度のスケーリングを選択することができるような機構を含んでもよい。ブロック８０６、８０８、８１０、８１４、８１６および／または８１８は、８０６になるまで繰り返され、ユーザの位置の変化は検出されない。

ブロック８２０において、頭部のロールは、ユーザの頭部の位置および／または速度からも判定されてもよい。頭部のロールとは、ユーザが頭部を回転させて右耳を右肩に接近させるか、左耳を左肩に接近させるときの動きである。一実施形態では、頭部のロールの動きは、ブロック８２２において患者画像装置１０９をローリング運動で動かすことにマッピングされてもよい。例えば、患者画像装置１０９が傾斜した遠位端を含む実施形態では、患者画像装置１０９の長手方向軸に対して傾斜した遠位端を回転させることは、頭部のロールを用いて制御することができる。ブロック８０６、８０８、８１０、８２０、および８２２は、８０６になるまで繰り返され、ユーザの位置の変化は検出されない。

多くの場合、図９の手順９００のフロー図に示すように、ユーザの頭部の位置および／または速度から得られる態様の２つ以上を組み合わせて、計算を組み合わせ、組み合わせた出力を提供するようにしてもよい。手順９００は、メモリ１２０（図１）に格納された命令１３６を実行するプロセッサ１１８によって少なくとも部分的に実施されてもよい。また、図９の手順９００に示されるステップの特定の順序は、限定ではなく例として提供される。したがって、手順９００のステップは、本開示の範囲から逸脱することなく、図９に示される順序以外の順序で実行されてもよい。さらに、図９の手順９００に示されるいくつかのステップは、互いに順番に実行されるのではなく、互いに並行して実行されてもよい。

頭部追跡の間、ブロック９０２において、ユーザの頭部姿勢が継続的に更新される。特に、ユーザの頭部のｘ方向、ｙ方向、ｚ方向およびロール、ピッチ、ならびにヨーは追跡され、更新される。更新の一部として、ブロック９０４において、並進速度はユーザの頭部姿勢から計算される。並進速度は、ユーザから所定の距離だけ離れた固定位置（例えば、ディスプレイ１２２上）に対して、ユーザの頭部の左右方向、上下方向、および内外方向の動きがどのくらい迅速に行われるかを示す。ブロック９０４における動作の実行と同時に、ブロック９０６において、ユーザの頭部姿勢からＹＺ方向速度（例えば、ユーザの頭部の頷き動作）が計算され、ブロック９０８において、ユーザの頭部姿勢からロールが抽出される。ブロック９１０において、ブロック９０４において判定された、計算された並進速度からのｘ座標が分離される。ｘ座標は、固定位置（例えば、ディスプレイ１２２）に向かう、または固定位置から離れるユーザの頭部の動きを示す。ブロック９１２において、ｘ座標がマッピングされ、その一例が図１０Ａに示される。マップは、ｘ軸上のユーザの頭部の速度と、ｙ軸上の患者画像撮影装置１０９の速度との二次元マップである。図１０Ａに示されるように、二次元マップは、それぞれの所定の速度に達するまで、ユーザの頭部の速度と患者画像撮影装置１０９の速度とが反比例することを示し、この２つの関係は、ユーザの頭部の速度が増加しても、患者画像撮影装置１０９の動きがないことを示す。他の実施形態では、マップは２つの速度間の異なる関係を示してもよいことが理解されよう。例えば、二次元マップではなく、この関係を線形、非線形、または他の関数としてマッピングすることができる。

ブロック９０４に戻ると、ブロック９１４において判定された、計算された並進速度からのｚ座標が、ブロック９１６においてマッピングされる。また、ブロック９０６からのＹＺ方向速度は、９１８で二次元的にマッピングされる。他の実施形態では、二次元マップではなく、この関係を線形、非線形、または他の関数としてマッピングすることができる。次に、ブロック９１６および９１８からの結果を組み合わせ、パン角速度を得る。また、ブロック９０８において抽出されたロールは、ロール角速度を得るためにブロック９２０においてマッピングされ、その一例が図１０Ｂに示されている。図１０Ａのマップと同様に、図１０Ｂのマップは、ｘ軸上のユーザの頭部の速度と、ｙ軸上の患者画像撮影装置１０９の速度とを含む。しかし、ここでは、画像撮影装置１０９の動きは、頭部の動きの速度の範囲に限定される。図９に戻ると、ブロック９２２において、画像撮影装置１０９の姿勢を判定するために、入出力速度、パン角速度、およびロール角速度の積分が計算される。判定されると、対応する信号が画像撮影装置１０９または対応するアーム１０６に供給され、画像撮影装置１０９を適切な位置に動かす。一実施形態では、画像撮影装置１０９および／またはロボットアーム１０６に供給される前に、ブロック９２２からの出力を構成するデータ点に、例えばデジタルフィルタ、ローパスフィルタ、指数平滑法などを用いた曲線フィッティングによってフィルタリング処理または平滑化処理を適用し、ノイズまたは他の望ましくないデータ点を除去してもよい。その結果、修正された対応する信号が出力され、それによって、ロボットアーム１０６または画像撮影装置１０９を比較的滑らかな動きで動かす。

図１１は、さらに別の実施形態による、手順６００のブロック６１２で説明された、識別されたユーザの位置と手術部位画像との関係に基づいて、ロボットアーム１０６、および特に、ロボットアーム１０６に連結された器具１０８の動きを制御するための、例示的なコンピュータ実装手順１１００である。手順８００は、メモリ１２０（図１）に格納された命令１３６を実行するプロセッサ１１８によって少なくとも部分的に実施されてもよい。また、図１１の手順１１００に示されるステップの特定の順序は、限定ではなく例として提供される。したがって、手順１１００のステップは、本開示の範囲から逸脱することなく、図１１に示される順序以外の順序で実行されてもよい。さらに、図１１の手順１１００に示されるいくつかのステップは、互いに順番に実行されるのではなく、互いに並行して実行されてもよい。

手順１１００は、ブロック１１０２において、撮影されたユーザ画像からユーザの視線の位置を計算するのに適した、様々なアルゴリズムのうちのいずれかを使用して撮影されたユーザ画像に基づいて、例えば手順６００のブロック６０２から、ユーザの位置を判定することを含む。ユーザの位置は、ユーザの眼または頭部の位置を計算するための眼追跡または頭部追跡アルゴリズムから判定されてもよい。器具を動かすための入力は、ブロック１１０４で受け付けられる。入力は、例えば、ユーザがボタンを押すこと、マウスに入力を提供すること、またはタッチスクリーン上でアイコンを選択することによって、入力装置１３８から受け付けてもよい。代替的に、入力は、撮影されたユーザ画像から検出されてもよい。例えば、ユーザに向けられた画像撮影装置１２８によって撮影された画像は、２連続でのまばたき、眼の持続的閉鎖、ウインクまたは別の眼球運動を含んでもよい、ユーザのまぶたの動きの静止画像および／または映像を撮影する。眼球運動はそれぞれ、把持顎を開閉する、ツールをオンまたはオフにするなどの所望の方法で器具１０８を動かすためのコマンドと関連付けられてもよい。別の実施形態では、ユーザに向けられた画像撮影装置１２８によって撮影された画像は、頷き、首振り、頭部の左右への動き、または他の頭部の動きを含んでもよい、ユーザの頭部の動きの静止画像および／または映像を撮影する。同様に、頭部の動きはそれぞれ、特定の方法で器具を動かすための、異なるコマンドに関連付けられてもよい。

一実施形態では、ブロック１１０６において、ユーザの入力が確認される。撮影されたユーザ画像から検出された入力が意図されたジェスチャであることを確認するために、ユーザの位置の判定は、ユーザの位置が閾値時間よりも長い時間、例えば、１秒以上にわたって保持されたかどうかの判定を含んでもよい。画像撮影装置１２８によって撮影された画像から検出されたユーザの動きを介して入力が提供される実施形態では、例えば、ユーザがボタンを押すこと、マウスに入力を提供すること、またはタッチスクリーン上でアイコンを選択することによって、入力の確認が行われてもよい。

受け付けられた入力に応じて、システム１０は、ブロック１１０８において、器具を所望の方法で動かす。したがって、上述したように、例えば、把持顎の開閉を示すまばたき、ツールのオンまたはオフを示すための頷きなどの特定のジェスチャに関連する器具の動きが実行される。

本明細書に開示された実施形態は、本開示の例であり、様々な形態で具体化され得る。例えば、本明細書の特定の実施形態は別個の実施形態として説明されているが、本明細書の実施形態のそれぞれは、本明細書の他の実施形態の１つ以上と組み合わせることができる。本明細書に開示された特定の構造的および機能的詳細は、限定するものと解釈されるべきではなく、当業者に本開示を事実上適切に詳細な構造で様々に用いることを教示するための、特許請求の範囲の基本事項、および代表的な基本事項である。同様の参照番号は、図面の説明を通して同様のまたは同一の要素を指してもよい。

「一実施形態では」、「実施形態では」、「いくつかの実施形態では」、または「他の実施形態では」という表現は、それぞれ、本開示による同じまたは異なる実施形態の１つ以上を指してもよい。「ＡまたはＢ」の形式の表現は、「（Ａ）、（Ｂ）、または（ＡおよびＢ）」を意味する。「Ａ、Ｂ、またはＣの少なくとも１つ」の形式の表現は、「（Ａ）；（Ｂ）；（Ｃ）；（ＡおよびＢ）；（ＡおよびＣ）；（ＢおよびＣ）；または（Ａ、Ｂ、およびＣ）」を意味する。「臨床医」という用語は、臨床医、または医師、看護師、技術者、医療補助者などの医療処置を行う任意の医療専門家を指してもよい。

本明細書に記載されたシステムはまた、１つ以上のコントローラを利用して様々な情報を受信し、受信した情報を変換して出力を生成してもよい。コントローラは、任意の種類の計算機器、計算回路、またはメモリに格納された一連の命令を実行することができる任意の種類のプロセッサまたは処理回路を含んでもよい。コントローラは、複数のプロセッサおよび／またはマルチコア中央処理装置（ＣＰＵ）を含んでもよく、マイクロプロセッサ、デジタル信号プロセッサ、マイクロコントローラ、プログラマブル・ロジック・デバイス（ＰＬＤ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの任意の種類のプロセッサを含んでもよい。コントローラはまた、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに１つ以上の方法および／またはアルゴリズムを実行させる、データおよび／または命令を格納するメモリを含んでもよい。

本明細書に記載された方法、プログラム、アルゴリズムまたはコードのいずれかは、プログラミング言語またはコンピュータプログラムに変換されるか、またはそれらによって表される。本明細書で使用する「プログラミング言語」および「コンピュータプログラム」という用語は、それぞれ、コンピュータへの命令を指定するために使用される任意の言語を含み、以下の言語およびその派生語を含む（ただしこれらに限定されない）：アセンブラ、ベーシック、バッチファイル、ＢＣＰＬ、Ｃ、Ｃ＋、Ｃ＋＋、Ｄｅｌｐｈｉ、Ｆｏｒｔｒａｎ、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、マシンコード、オペレーティングシステムコマンド言語、Ｐａｓｃａｌ、Ｐｅｒｌ、ＰＬ１、スクリプト言語、Ｖｉｓｕａｌ Ｂａｓｉｃ、それ自身がプログラムを指定するメタ言語、および全ての第１、第２、第３、第４、第５、またはそれ以上の世代のコンピュータ言語。また、データベースやその他のデータスキーマ、およびその他のメタ言語も含まれる。インタプリタ形式の言語、コンパイルされた言語、またはコンパイルされたアプローチとインタプリタ形式のアプローチの両方を使用する言語は区別されない。プログラムのコンパイルされたバージョンとソースバージョンとは区別されない。したがって、プログラミング言語が複数の状態（ソース、コンパイル、オブジェクト、またはリンクなど）で存在する可能性のあるプログラムの参照は、そのような状態の全ての参照である。プログラムの参照は、実際の命令および／またはそれらの命令の意図を包含してもよい。

本明細書に記載の方法、プログラム、アルゴリズムまたはコードのいずれも、１つ以上の機械可読媒体またはメモリに含まれてもよい。「メモリ」という用語は、プロセッサ、コンピュータ、またはデジタル処理装置などの機械によって読み取り可能な形式で情報を提供（例えば、格納および／または送信）する機構を含んでもよい。例えば、メモリは、読み出し専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュ・メモリ・デバイス、または任意の他の揮発性または不揮発性メモリ記憶装置を含んでもよい。その中に含まれるコードまたは命令は、搬送波信号、赤外線信号、デジタル信号、および他の同様の信号によって表すことができる。

前述の説明は本開示の例示に過ぎないことを理解されたい。当業者であれば、本開示から逸脱することなく、様々な代替例および変形例を考案することができる。したがって、本開示は、そのような代替例、変形例および変更例の全てを包含するように意図されている。添付の図面を参照して記載された実施形態は、本開示の特定の実施例を示すためにのみ提示される。上記および／または添付の特許請求の範囲と実質的に異なる他の要素、ステップ、方法および技術もまた、本開示の範囲内にあることが意図される。

Claims (14)

1. 患者画像撮影装置を含むロボットアームと、
   前記患者画像撮影装置によって取得された手術部位画像を表示するように構成された自動立体視ディスプレイと、
   ユーザ画像を取得するように構成されたユーザ画像撮影装置と、
   前記ユーザ画像内のユーザの少なくとも一部の位置を識別するように構成された画像処理装置と、
   コントローラと
   を備え、前記コントローラは、
   前記自動立体視ディスプレイに対するユーザの視線の位置の変化を検出することと、
   前記視線の位置の前記検出された変化に基づいて、前記患者画像撮影装置に連結された前記ロボットアームを動かすことを前記システムに行わせることと、
   前記視線の位置の前記検出された変化が前記自動立体視ディスプレイ上に表示された前記手術部位の画像の視認領域の外にあるかどうかを判定することと、
   前記視線の位置の前記検出された変化が前記視認領域の外にあることの判定に応答して、前記ユーザに通知を提供することであって、前記通知は、前記ユーザの前記視線が前記自動立体視ディスプレイ上に表示された前記手術部位の画像の前記視認領域の外にあることの聴覚指示または視覚指示を含む、ことと
   を行うように構成されている、ロボット外科手術装置の制御のためのシステム。
2. 前記自動立体視ディスプレイは、偶数画素列と奇数画素列とを含む複数の画素を含むようにさらに構成され、
   各画素列は、対応する垂直レンズの下方に配置され、
   前記偶数画素列に対応する前記垂直レンズは、前記偶数画素列を前記ユーザの第１の眼によって知覚可能とするように構成され、
   前記奇数画素列に対応する前記垂直レンズは、前記奇数画素列を前記ユーザの第２の眼によって知覚可能とするように構成される、請求項１に記載のシステム。
3. 前記コントローラは、前記複数の画素のうちの１つ以上の画素を調整することによって、前記自動立体視ディスプレイ上に表示される前記画像を調整し、前記ユーザによる自動立体視のビジュアルコンテンツの知覚を改善するようにさらに構成されている、請求項２に記載のシステム。
4. 前記画像処理装置は、前記ユーザ画像撮影装置から取得された前記画像内の前記ユーザの前記第１の眼および前記第２の眼の位置を識別するようにさらに構成され、
   前記コントローラは、前記ユーザの前記第１の眼の前記識別された位置または前記ユーザの前記第２の眼の前記識別された位置に部分的に基づいて、前記自動立体視ディスプレイ上に表示された前記複数の画素のうちの前記１つ以上の画素を調整するようにさらに構成されている、請求項３に記載のシステム。
5. 前記患者画像撮影装置は、ビジュアルコンテンツを撮影して前記画像処理装置に送信する際に第１の所定のレイテンシを達成するように構成され、前記画像処理装置は、前記ビジュアルコンテンツを処理し、前記ユーザの前記視線の位置を判定し、前記患者画像撮影装置に制御信号を送信する際に、第２の所定のレイテンシを達成する、複数の並列実行サブプロセッサを備える、請求項１に記載のシステム。
6. 前記コントローラは、前記ユーザの前記視線の前記位置の前記検出された変化に応答して、前記ロボットアームを動かす速度の大きさおよび方向を計算するようにさらに構成されている、請求項１に記載のシステム。
7. 前記コントローラは、前記ユーザの前記視線が、閾値時間よりも長い時間にわたり前記位置で保持されているかどうかを判定し、前記視線が前記閾値時間より長い時間にわたり保持されていることに応答して、前記患者画像撮影装置に連結された前記ロボットアームを動かすようにさらに構成されている、請求項１に記載のシステム。
8. 前記コントローラは、
   前記患者画像撮影装置を動かすための入力を検出することと、
   前記識別された位置の変化を判定することと、
   前記識別された位置の変化に基づいて、頭部の位置および／または速度を判定することと、
   前記判定された頭部の位置および／または速度に基づいて、頭部の傾き、頭部の向き、または頭部のロールのうちの１つ以上を判定することと
   を行うようにさらに構成されている、請求項１に記載のシステム。
9. 前記コントローラは、
   前記識別された位置に基づいて頭部姿勢を判定することと、
   前記判定された頭部姿勢に基づいて並進速度を計算することと、
   前記計算された並進速度からのｘ座標をマッピングして入出力速度を得ることと、
   前記計算された並進速度からのｚ座標をマッピングし、前記判定された頭部姿勢に基づいてＹＺ方向速度を計算し、前記計算されたＹＺ速度をマッピングしてパン角速度を得ることと、
   前記判定された頭部姿勢からロール値を抽出することと、
   前記抽出されたロール値をマッピングしてロール角速度を得ることと、
   前記入出力速度、前記パン角速度、および前記ロール角速度に基づいて、前記患者画像撮影装置の姿勢を判定することと
   を行うようにさらに構成されている、請求項１に記載のシステム。
10. 前記ロボットアームは内視鏡を備える、請求項１に記載のシステム。
11. 前記通知は、前記自動立体視ディスプレイ上に表示される矢印を含み、前記コントローラは、前記ユーザの前記視線の前記位置が前記視認領域の外にある程度に比例して、前記表示された矢印の長さを調節するようにさらに構成されている、請求項１に記載のシステム。
12. 前記自動立体視ディスプレイは、
    第１の組の画素および第２の組の画素を有するスクリーンと、
    前記スクリーンの前面に配置されたレンチキュラレンズ層であって、前記レンチキュラレンズ層は、複数の第１の垂直レンズおよび複数の第２の垂直レンズを有し、前記複数の第１の垂直レンズは、対応する第１の組の画素の上に配置され、前記第１の組の画素のビジュアルコンテンツが前記ユーザの第１の眼によって知覚されることを可能にするために適した角度で導かれるように構成され、前記複数の第２の垂直レンズは、対応する第２の組の画素の上に配置され、前記第２の組の画素のビジュアルコンテンツが前記ユーザの第２の眼によって知覚されることを可能にするために適した角度で導かれるように構成されている、レンチキュラレンズ層と
    を含む、請求項１に記載のシステム。
13. 前記画像捕捉装置は、前記自動立体視ディスプレイに固定されている、請求項１に記載のシステム。
14. 前記コントローラは、前記視線の位置の前記検出された変化が閾値時間よりも長い時間にわたり前記視認領域の外にあることの判定に応答して、前記通知を前記ユーザに提供することを前記システムに行わせるように構成されている、請求項１に記載のシステム。

Images