JP2021090753A - ナビゲートされるロボット外科手術のための変動する不透明性を有する拡張現実ヘッドセット - Google Patents

ナビゲートされるロボット外科手術のための変動する不透明性を有する拡張現実ヘッドセット Download PDF

Info

Publication number
JP2021090753A
JP2021090753A JP2020204490A JP2020204490A JP2021090753A JP 2021090753 A JP2021090753 A JP 2021090753A JP 2020204490 A JP2020204490 A JP 2020204490A JP 2020204490 A JP2020204490 A JP 2020204490A JP 2021090753 A JP2021090753 A JP 2021090753A
Authority
JP
Japan
Prior art keywords
headset
surgical
display screen
opacity
see
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020204490A
Other languages
English (en)
Other versions
JP7112471B2 (ja
Inventor
キャロウェイ トーマス
Calloway Thomas
キャロウェイ トーマス
ヒーリー ウェストン
Healy Weston
ヒーリー ウェストン
デュリン アイザック
Dulin Isaac
デュリン アイザック
アール デール
Earle Dale
アール デール
マツダ ケイイチ
Keiichi Matsuda
マツダ ケイイチ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Globus Medical Inc
Original Assignee
Globus Medical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Globus Medical Inc filed Critical Globus Medical Inc
Publication of JP2021090753A publication Critical patent/JP2021090753A/ja
Application granted granted Critical
Publication of JP7112471B2 publication Critical patent/JP7112471B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00199—Electrical control of surgical instruments with a console, e.g. a control panel with a display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00221—Electrical control of surgical instruments with wireless transmission of data, e.g. by infrared radiation or radiowaves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Abstract

【課題】医療デバイスおよびシステム、より具体的には、ロボット外科手術システムを使用する外科手術におけるコンピュータ支援ナビゲーションの改善に関する。【解決手段】ＡＲヘッドセット９２０は、処置中にユーザが着用し、シースルー表示画面１４５０であって、ＡＲ画像を表示し、かつ現実世界シーンがユーザによる視認のためにシースルー表示画面を通過できるシースルー表示画面を有する。ＡＲヘッドセットはまた、ユーザがシースルー表示画面を視認するときに、ユーザの目と現実世界シーンとの間の不透明フィルタを含む。不透明フィルタは、現実世界シーンからの光に対する不透明性を提供する。ＡＲヘッドセットコントローラ１４３０は、処置中にナビゲーション情報をナビゲーションコントローラ８２８から受信し、シースルー表示画面上での表示のためにナビゲーション情報に基づいてＡＲ画像を生成するように、ナビゲーションコントローラと通信する。【選択図】図１４

Description

本開示は、医療デバイスおよびシステム、より具体的には、ロボット外科手術システムを使用する外科手術におけるコンピュータ支援ナビゲーションに関する。
外科手術におけるコンピュータ支援ナビゲーションは、患者の生体構造の放射線写真画像に関して、外科医に手術器具の強化された視覚化を提供する。しかしながら、既存のナビゲーションシステムには、１）外科医が患者および手術器具から顔をそらしてナビゲーション情報を視認する必要があること、２）手術室の様々な機器のソフトウェア機能を動作させる依頼を他の従事者に課すこと、および３）従事者および／または物体が、患者、ロボット、および手術器具のポーズを追跡する追跡構成要素の能力を遮りながら外科手術中のナビゲーションを提供することによる断続的な一時停止を含む、外科医にとっての使いやすさおよび人間工学に関する制限がある。
本明細書に開示される様々な実施形態は、外科手術中のコンピュータ支援ナビゲーションの改善を対象とする。拡張現実（ＡＲ）ヘッドセットは、外科手術システムに動作可能に接続されて、外科医、助手、および／または他の従事者が患者の画像を視認および操作し、コンピュータで生成されたナビゲーション情報を視認および操作し、および／または手術室内の手術器具を制御することができるインタラクティブな環境を提供する。
本開示のいくつかの実施形態は、ＡＲヘッドセットおよびＡＲヘッドセットコントローラを含む外科手術システムを対象とする。ＡＲヘッドセットは、外科的処置中にユーザが着用するように構成されており、シースルー表示画面であって、ＡＲ画像を表示するように、かつ現実世界シーンの少なくとも一部分がユーザによる視認のためにシースルー表示画面を通過できるようにするように構成されたシースルー表示画面を有する。ＡＲヘッドセットはまた、ユーザがシースルー表示画面を視認するときに、ユーザの目のうちの少なくとも１つと現実世界シーンとの間に配置される不透明フィルタを含む。不透明フィルタは、現実世界シーンからの光に対する不透明性を提供するように構成されている。ＡＲヘッドセットコントローラは、ナビゲーションコントローラと通信して、解剖学的構造に対する外科的処置中にユーザにガイダンスを提供するナビゲーション情報を、ナビゲーションコントローラから受信するように構成されており、かつシースルー表示画面上での表示のためにナビゲーション情報に基づいてＡＲ画像を生成するように構成されている。
本開示のいくつかの実施形態は、より一般的には、シースルー表示画面および不透明フィルタを含むＡＲヘッドセットを対象とする。シースルー表示画面は、ＡＲ画像を表示するように、かつ現実世界シーンの少なくとも一部分がユーザによる視認のためにシースルー表示画面を通過できるようにするように構成されている。不透明フィルタは、ユーザがＡＲヘッドセットを着用してシースルー表示画面を視認する間、ユーザの目のうちの少なくとも１つと現実世界シーンとの間に配置されるように構成されている。不透明フィルタはまた、現実世界シーンからの光に対する不透明性を提供するように構成されている。
実施形態による他の外科手術システム、ＡＲヘッドセット、ならびに対応する方法およびコンピュータプログラム製品は、以下の図面および詳細な説明を検討する際に当業者には明らかであるか、または明らかになるであろう。かかるすべての外科手術システム、ＡＲヘッドセット、ならびに対応する方法およびコンピュータプログラム製品は、本説明に含まれ、本開示の範囲内にあり、添付の特許請求の範囲によって保護されることが意図される。さらに、本明細書に開示されるすべての実施形態が別々に実装されても、任意の方法および／または組み合わせで組み合わされてもよいことが意図される。
本開示のさらなる理解を提供するために含まれ、かつ本出願に組み込まれてその一部を構成する添付の図面は、本発明の概念の特定の非限定的な実施形態を例示する。図面は、以下のとおりである：
本開示のいくつかの実施形態による外科手術システムの実施形態を例示している。 本開示のいくつかの実施形態による、図１の外科手術システムの外科手術ロボット構成要素を例示している。 本開示のいくつかの実施形態による、図１の外科手術システムのカメラ追跡システム構成要素を例示している。 本開示のいくつかの実施形態による、図１の外科手術システムとともに使用され得る別のカメラ追跡システム構成要素の正面図を示す。 本開示のいくつかの実施形態による、図１の外科手術システムとともに使用され得る別のカメラ追跡システム構成要素の等角図を示す。 ロボットアームに接続可能であり、かつ本開示のいくつかの実施形態に従って構成されたエンドエフェクタの実施形態を例示している。 外科手術ロボットおよびカメラシステムが患者の周りに配設されている医療手術を例示している。 医療手術に使用されている図５の外科手術システムの構成要素のブロック図ビューを例示している。 外科手術システムのナビゲーション機能を使用するときに図５および図６のディスプレイに表示され得る様々な表示画面を例示している。 本開示のいくつかの実施形態による、外科手術ロボットのいくつかの電気的構成要素のブロック図を例示している。 本開示のいくつかの実施形態による、カメラ追跡システムおよび／または外科手術ロボットに動作可能に接続できるコンピュータプラットフォームに接続された撮像デバイスを含む外科手術システムの構成要素のブロック図を例示している。 本開示のいくつかの実施形態に従って外科手術ロボットと組み合わせて使用できるＣアーム撮像デバイスの実施形態を例示している。 本開示のいくつかの実施形態に従って外科手術ロボットと組み合わせて使用できるＯアーム撮像デバイスの実施形態を例示している。 本開示のいくつかの実施形態に従って動作する一対のＡＲヘッドセットを含む外科手術システムの構成要素のブロック図ビューを例示している。 本開示のいくつかの実施形態に従って構成されたＡＲヘッドセットを例示している。 本開示のいくつかの実施形態に従ってコンピュータプラットフォーム、撮像デバイス（単数または複数）、および／または外科手術ロボットに動作可能に接続できるＡＲヘッドセットの電気的構成要素を例示している。 本開示のいくつかの実施形態に従うＡＲヘッドセットの表示画面を介した例示的なビューを例示している。 本開示のいくつかの実施形態に従うＡＲヘッドセットの表示画面を介した他の例示的なビューを例示している。 本開示のいくつかの実施形態に従うＡＲヘッドセットの表示画面を介した他の例示的なビューを例示している。 本開示のいくつかの実施形態に従うＡＲヘッドセットの表示画面を介した他の例示的なビューを例示している。 本開示のいくつかの実施形態に従うＡＲヘッドセットの表示画面を介した他の例示的なビューを例示している。 本開示のいくつかの実施形態に従うＡＲヘッドセットの表示画面を介した他の例示的なビューを例示している。 本開示のいくつかの実施形態に従うＡＲヘッドセットの表示画面を介した他の例示的なビューを例示している。 本開示のいくつかの実施形態に従うＡＲヘッドセットの表示画面を介した他の例示的なビューを例示している。 本開示のいくつかの実施形態に従うＡＲヘッドセットの表示画面を介した他の例示的なビューを例示している。 本開示のいくつかの実施形態に従うＡＲヘッドセットの表示画面を介した他の例示的なビューを例示している。 本開示のいくつかの実施形態に従うＡＲヘッドセットの表示画面を介した他の例示的なビューを例示している。 本開示のいくつかの実施形態に従って医療処置中に手術道具のナビゲーション支援を提供するためのＡＲヘッドセットの表示画面を介した例示的なビューを例示している。 本開示のいくつかの実施形態に従って医療処置中に手術道具のナビゲーション支援を提供するためのＡＲヘッドセットの表示画面を介した他の例示的なビューを例示している。 本開示のいくつかの実施形態に従って医療処置中に手術道具のナビゲーション支援を提供するためのＡＲヘッドセットの表示画面を介した他の例示的なビューを例示している。 本開示のいくつかの実施形態に従って医療処置中に手術道具のナビゲーション支援を提供するためのＡＲヘッドセットの表示画面を介した他の例示的なビューを例示している。 本開示のいくつかの実施形態に従って医療処置中に手術道具のナビゲーション支援を提供するためのＡＲヘッドセットの表示画面を介した他の例示的なビューを例示している。 本開示のいくつかの実施形態に従って医療処置中に手術道具のナビゲーション支援を提供するためのＡＲヘッドセットの表示画面を介した他の例示的なビューを例示している。 本開示のいくつかの実施形態に従う、ＡＲヘッドセットの前部に横方向にわたり、かつ前部から下向きに延在するシースルー表示画面として動作する湾曲レンズと、湾曲レンズの表面上にある不透明フィルタと、を有するＡＲヘッドセットを例示している。 本開示のいくつかの実施形態に従ってＡＲヘッドセットコントローラからの信号伝達に応答して変更可能な不透明性を有するように構成された不透明フィルタの別の実施形態のブロック図を例示している。 本開示のいくつかの実施形態に従って構成されたＡＲヘッドセットコントローラを含むＡＲ処理回路機構に接続されたＡＲヘッドセットを含む外科手術システムの構成要素のブロック図を例示している。 本開示のいくつかの実施形態に従ってシースルー表示画面上での情報の表示方法を制御するため、および／または不透明フィルタの不透明性を制御したりするために、外科手術システムのＡＲヘッドセットコントローラおよびコンピュータプラットフォームによって実行できる動作のフローチャートを例示している。 本開示のいくつかの実施形態に従ってシースルー表示画面上での情報の表示方法を制御するため、および／または不透明フィルタの不透明性を制御したりするために、外科手術システムのＡＲヘッドセットコントローラおよびコンピュータプラットフォームによって実行できる動作の他のフローチャートを例示している。 本開示のいくつかの実施形態に従ってシースルー表示画面上での情報の表示方法を制御するため、および／または不透明フィルタの不透明性を制御したりするために、外科手術システムのＡＲヘッドセットコントローラおよびコンピュータプラットフォームによって実行できる動作の他のフローチャートを例示している。 本開示のいくつかの実施形態に従ってシースルー表示画面上での情報の表示方法を制御するため、および／または不透明フィルタの不透明性を制御したりするために、外科手術システムのＡＲヘッドセットコントローラおよびコンピュータプラットフォームによって実行できる動作の他のフローチャートを例示している。 本開示のいくつかの実施形態に従ってシースルー表示画面上での情報の表示方法を制御するため、および／または不透明フィルタの不透明性を制御したりするために、外科手術システムのＡＲヘッドセットコントローラおよびコンピュータプラットフォームによって実行できる動作の他のフローチャートを例示している。
ここで、本発明の概念の例示的な実施形態が示されている添付の図面を参照して、本発明の概念を以下でより完全に説明する。しかしながら、本発明の概念は、多くの異なる形態で具体化されてもよく、本明細書に記載される実施形態に限定されると解釈されるべきではない。むしろ、これらの実施形態は、本開示が徹底的かつ完全であり、様々な本発明の概念の範囲を当業者に完全に伝えるように提供される。これらの実施形態が相互に排他的ではないことにも留意されたい。１つの実施形態からの構成要素が、別の実施形態に存在するか、または別の実施形態で使用されると暗に想定され得る。
本明細書に開示される様々な実施形態は、外科手術中のコンピュータ支援ナビゲーションの改善を対象とする。拡張現実（ＡＲ）ヘッドセットは、外科手術システムに動作可能に接続され、外科医、助手、および／または他の従事者が患者の画像を視認し、および患者の画像内から選択し、コンピュータで生成された外科手術ナビゲーション情報を視認し、および外科手術ナビゲーション情報内から選択し、および／または手術室内の手術器具を制御することができるインタラクティブな環境を提供するように構成されている。
図１は、本開示のいくつかの実施形態による外科手術システム２の実施形態を例示している。整形外科手術または他の外科的処置の実施前に、例えば、図１０のＣアーム撮像デバイス１０４または図１１のＯアーム撮像デバイス１０６を使用して、またはコンピュータ断層撮影（ＣＴ）画像もしくはＭＲＩなどの別の医療撮像デバイスから、患者の計画された外科手術エリアの三次元（「３Ｄ」）画像スキャンを行い得る。このスキャンは、術前（例えば、最も一般的には処置の数週間前）または術中に行うことができる。しかしながら、外科手術システム２の様々な実施形態に従って、任意の既知の３Ｄまたは２Ｄ画像スキャンを使用することができる。画像スキャンは、カメラ追跡システム６、外科手術ロボット４（例えば、図１のロボット２）、撮像デバイス（例えば、Ｃアーム１０４、Ｏアーム１０６など）、および患者の画像スキャンを保存するための画像データベース９５０を含み得る手術システム９００（図９）のコンピュータプラットフォーム９１０などの、外科手術システム２と通信するコンピュータプラットフォームに送信される。コンピュータプラットフォーム９１０（図９）のディスプレイデバイス上で画像スキャン（単数または複数）をレビューする外科医は、患者の解剖学的構造に対する外科的処置中に使用される手術道具の目標ポーズを定義する外科手術計画を生成する。道具とも呼ばれる例示的な手術道具として、ドリル、スクリュードライバ、開創器、および、スクリュー、スペーサ、椎体間固定デバイス、プレート、ロッドなどのインプラントを挙げることができるが、これらに限定されない。いくつかの実施形態では、ターゲット平面を画定する外科手術平面は、ディスプレイデバイスに表示される３Ｄ画像スキャンで計画される。
本明細書で使用される場合、「ポーズ」という用語は、別の物体および／または定義された座標系に対する、ある物体（例えば、動的参照アレイ、エンドエフェクタ、手術道具、解剖学的構造など）の位置および／または回転角度を指す。したがって、ポーズは、別の物体および／または定義された座標系に対するある物体の多次元位置のみに基づいて、および／または別の物体および／または定義された座標系に対する物体の多次元回転角度のみに基づいて、または多次元位置と多次元回転角度との組み合わせに基づいて定義され得る。したがって、「ポーズ」という用語は、位置、回転角度、またはそれらの組み合わせを指すために使用される。
図１の外科手術システム２は、例えば、用具を保持すること、用具を一致させること、用具を使用すること、用具を誘導すること、および／または使用するために用具を位置決めすることによって、医療処置中に外科医を支援することができる。いくつかの実施形態では、外科手術システム２は、外科手術ロボット４と、カメラ追跡システム６と、を含む。外科手術ロボット４とカメラ追跡システム６とを機械的に結合する機能により、外科手術システム２を単一のユニットとして操作し、移動することが可能になり、外科手術システム２は面積の小さいフットプリントを有することが可能になり、狭い通路および曲がり角を通る動きをより容易にすることが可能になり、ならびにより狭い面積内のストレージを可能にすることができる。
外科的処置は、外科手術システム２を医療ストレージから医療処置室まで移動させることで開始し得る。外科手術システム２は、出入口、ホール、およびエレベータから医療処置室に到達するまでずっと操作することができる。部屋の中で、外科手術システム２は、２つの分離した別個のシステム、外科手術ロボット４およびカメラ追跡システム６に、物理的に分離され得る。外科手術ロボット４は、医療従事者を適切に支援するために、任意の好適な場所で患者に隣接して位置決めされ得る。カメラ追跡システム６は、患者の基部、患者の肩、または、外科手術ロボット４および患者の部分の現在のポーズと追跡位置のポーズの移動とを追跡するのに好適な任意の他の場所に位置決めされ得る。外科手術ロボット４およびカメラ追跡システム６は、オンボード電源によって電力供給され、かつ／または外部壁コンセントに差し込まれ得る。
外科手術ロボット４を使用して、医療処置中に用具を保持および／または使用することによって外科医を支援することができる。用具を適切に利用および保持するために、外科手術ロボット４は、適切に機能する複数のモータ、コンピュータ、および／またはアクチュエータに依存し得る。図１に例示されるように、ロボット本体８は、複数のモータ、コンピュータ、および／またはアクチュエータが外科手術ロボット４内に固設され得る構造として作用し得る。ロボット本体８はまた、ロボット伸縮式支持アーム１６のための支持を提供し得る。ロボット本体８のサイズは、取り付けられた構成要素を支持する強固なプラットフォームを提供することができ、かつ取り付けられた構成要素を動作させることができる複数のモータ、コンピュータ、および／またはアクチュエータを収容し、隠し、かつ保護することができる。
ロボット基部１０は、外科手術ロボット４の下部支持として作用し得る。いくつかの実施形態では、ロボット基部１０は、ロボット本体８を支持することができ、かつロボット本体８を複数の動力付きホイール１２に取り付けることができる。ホイールへのこの取り付けにより、ロボット本体８は空間内を効率的に移動することができる。ロボット基部１０は、ロボット本体８の長さおよび幅方向に延びていてもよい。ロボット基部１０は、約２インチ〜約１０インチの高さであり得る。ロボット基部１０は、動力付きホイール１２を被覆、保護、および支持することができる。
いくつかの実施形態では、図１に例示されるように、少なくとも１つの動力付きホイール１２をロボット基部１０に取り付けることができる。動力付きホイール１２は、任意の場所でロボット基部１０に取り付けられ得る。各個々の動力付きホイール１２は、任意の方向に垂直軸を中心として回転することができる。モータは、動力付きホイール１２の上、その中、またはそれに隣接して配設され得る。このモータにより、外科手術システム２を任意の場所へと操作し、外科手術システム２を安定化し、かつ／または水平にすることができる。動力付きホイール１２内またはそれに隣接して位置するロッドは、モータによって表面に押し込むことができる。図示されていないロッドは、外科手術システム２を持ち上げるのに好適な任意の金属で作製され得る。ロッドは、外科手術システム２を持ち上げることができる動力付きホイール１０を、患者に対して外科手術システム２の向きを水平にするか、または別様に固定するのに必要な任意の高さまで持ち上げることができる。外科手術システム２の重量は、各ホイール上のロッドによって小さい接触面積で支持され、医療処置中に外科手術システム２が移動することを阻止する。この堅固な位置決めは、物体および／または人々が偶発的に外科手術システム２を移動させることを阻止し得る。
外科手術システム２の移動を、ロボットレール材１４を使用して容易にすることができる。ロボットレール材１４は、ロボット本体８を把持することなく、外科手術システム２を移動させる能力を人に提供する。図１に例示されるように、ロボットレール材１４は、ロボット本体８の長さ方向にロボット本体８より短く延びていてもよく、かつ／またはロボット本体８の長さより長く延びていてもよい。ロボットレール材１４は、ロボット本体８に対する保護をさらに備え、物体および／または従事者がロボット本体８に接触すること、ぶつかること、または衝突することを阻止することができる。
ロボット本体８は、以後「スカラ」と称する水平多関節ロボットのための支持を提供することができる。スカラ２４は、ロボットアームの同時再現性およびコンパクトさゆえに、外科手術システム２内で使用するのに有益であり得る。スカラのコンパクトさは、医療処置内に追加の空間を提供することができ、それにより、医療専門家は、過度な乱雑さと制限されたエリアなしに、医療処置を実施することが可能になる。スカラ２４は、ロボット伸縮式支持１６、ロボット支持アーム１８、および／またはロボットアーム２０を含み得る。ロボット伸縮式支持１６は、ロボット本体８に沿って配設され得る。図１に例示されるように、ロボット伸縮式支持１６は、スカラ２４およびディスプレイ３４のための支持を提供し得る。いくつかの実施形態では、ロボット伸縮式支持１６は、垂直方向に延在および収縮することができる。ロボット伸縮式支持１６の本体は、本体に加えられる応力および重量を支持するように構成された任意の幅および／または高さであり得る。
いくつかの実施形態では、医療従事者は、医療従事者によって提出されたコマンドを介してスカラ２４を移動させることができる。コマンドは、以下でさらに詳細に説明するように、ディスプレイ３４、タブレット、および／またはＡＲヘッドセット（例えば、図９のヘッドセット９２０）で受信された入力から発信され得る。ＡＲヘッドセットは、医療従事者がディスプレイ３４またはタブレットなどの任意の他のディスプレイを参照する必要性を排除し得、これにより、ディスプレイ３４および／またはタブレットなしでスカラ２４を構成することが可能になる。コマンドは、スイッチの押し下げおよび／または複数のスイッチの押し下げによって生成され得、および／または以下でさらに詳細に説明するように、ＡＲヘッドセットによって感知されるハンドジェスチャコマンドおよび／またはボイスコマンドに基づいて生成され得る。
図５に示されるように、起動アセンブリ６０は、スイッチおよび／または複数のスイッチを含み得る。起動アセンブリ６０は、移動コマンドをスカラ２４に送信して、オペレータがスカラ２４を手動で操作することを可能にするように動作可能であり得る。スイッチまたは複数のスイッチが押し下げられると、医療従事者は、加えられた手の移動を介してスカラ２４を移動させる能力を有し得る。これに代えて、またはこれに加えて、オペレータは、以下でさらに詳細に説明するように、ＡＲヘッドセットによって感知されるハンドジェスチャコマンドおよび／またはボイスコマンドを介してスカラ２４の移動を制御し得る。さらに、スカラ２４が移動させるためのコマンドを受信していないとき、スカラ２４は、従事者および／または他の物体による偶発的な移動を阻止するように所定の位置にロックすることができる。所定の位置にロックすることにより、スカラ２４は、エンドエフェクタ２６が医療処置中に手術道具を誘導することができる堅固なプラットフォームを提供する。
ロボット支持アーム１８は、様々な機構によってロボット伸縮式支持１６に接続できる。いくつかの実施形態では、図１および２に最もよく見られるように、ロボット支持アーム１８は、ロボット伸縮式支持１６に対して任意の方向に回転する。ロボット支持アーム１８は、ロボット伸縮式支持１６の周りで３６０度回転することができる。ロボットアーム２０は、任意の好適な位置で、ロボット支持アーム１８に対して任意の方向への回転を可能にする様々な機構によって、ロボット支持アーム１８に接続し得る。一実施形態では、ロボットアーム２０は、ロボット支持アーム１８に対して３６０度回転することができる。この自由回転により、オペレータは、外科手術計画に従ってロボットアーム２０を位置決めすることができる。
図４および図５に示されるエンドエフェクタ２６は、任意の好適な場所でロボットアーム２０に取り付けられ得る。エンドエフェクタ２６は、外科手術ロボット４によって位置決めされたロボットアーム２０のエンドエフェクタカプラ２２に取り付けられるように構成できる。例示的なエンドエフェクタ２６は、外科的処置が実施される解剖学的構造に対して挿入された手術道具の移動を誘導する管状ガイドを含む。
いくつかの実施形態では、動的参照アレイ５２は、エンドエフェクタ２６に取り付けられている。本明細書で「ＤＲＡ」とも呼ばれる動的参照アレイは、患者の解剖学的構造（例えば、骨）、手術室内の従事者によって着用されている１つ以上のＡＲヘッドセット、エンドエフェクタ、外科手術ロボット、ナビゲートされる外科的処置における手術道具上に配設され得る剛性体である。カメラ追跡システム６または他の３Ｄ位置特定システムと組み合わされるコンピュータプラットフォーム９１０は、ＤＲＡのポーズ（例えば、位置および回転の向き）をリアルタイムで追跡するように構成されている。ＤＲＡは、例示されるボールの配列などの基準を含む。ＤＲＡの３Ｄ座標のこの追跡により、外科手術システム２は、図５の患者５０の目標の解剖学的構造に関連する任意の多次元空間におけるＤＲＡのポーズを決定することができる。
図１に例示されるように、光インジケータ２８は、スカラ２４の頂部上に位置決めされ得る。光インジケータ２８は、外科手術システム２が現在動作している「状況」を示すために、任意のタイプの光として照明し得る。いくつかの実施形態では、光は、光インジケータ２８の周りにリングを形成し得るＬＥＤ電球によって生成され得る。光インジケータ２８は、光インジケータ２８の全体にわたって光を輝かせることができる完全に透過性の材料を含み得る。光インジケータ２８は、下部ディスプレイ支持３０に取り付けられ得る。図２に例示されるように、下部ディスプレイ支持３０により、オペレータは、ディスプレイ３４を任意の好適な場所まで操作することが可能になる。下部ディスプレイ支持３０は、任意の好適な機構によって光インジケータ２８に取り付けられ得る。いくつかの実施形態では、下部ディスプレイ支持３０は、光インジケータ２８を中心として回転し得るか、または光インジケータ２８に堅固に取り付けられ得る。上部ディスプレイ支持３２は、任意の好適な機構によって下部ディスプレイ支持３０に取り付けられ得る。
いくつかの実施形態では、タブレットをディスプレイ３４と併せて、および／またはディスプレイ３４なしで使用し得る。タブレットは、ディスプレイ３４の代わりに上部ディスプレイ支持３２上に配設されてもよく、医療手術中に上部ディスプレイ支持３２から取り外し可能であってもよい。さらに、タブレットは、ディスプレイ３４と通信することができる。タブレットは、任意の好適な無線および／または有線接続によって外科手術ロボット４に接続することができ得る。いくつかの実施形態では、タブレットは、医療手術中に外科手術システム２をプログラムおよび／または制御することができ得る。タブレットを用いて外科手術システム２を制御しているとき、すべての入力および出力コマンドをディスプレイ３４上で複製することができる。タブレットの使用により、オペレータは、患者５０の周りを移動し、かつ／または外科手術ロボット４まで移動する必要なしに、外科手術ロボット４を操作することができる。
以下で説明するように、いくつかの実施形態では、外科医および／または他の従事者は、ディスプレイ３４および／またはタブレットと組み合わせて使用され得るＡＲヘッドセットを着用することができるか、またはＡＲヘッド（単数または複数）は、ディスプレイ３４および／またはタブレットの使用の必要性を排除し得る。
図３Ａおよび図５に例示されるように、カメラ追跡システム６は、有線または無線の通信ネットワークを介して外科手術ロボット４と協働する。図１、図３、および図５を参照すると、カメラ追跡システム６は、外科手術ロボット４と同様のいくつかの構成要素を含むことができる。例えば、カメラ本体３６は、ロボット本体８に見られる機能を提供することができる。ロボット本体８は、上にカメラ４６が装着される構造を提供することができる。ロボット本体８内の構造も、カメラ追跡システム６を動作させるために使用される電子機器、通信デバイス、および電源のための支持を提供することができる。カメラ本体３６は、ロボット本体８と同じ材料で作製され得る。カメラ追跡システム６は、無線および／または有線のネットワークによってＡＲヘッドセット、タブレット、および／またはディスプレイ３４と直接通信して、ＡＲヘッドセット、タブレット、および／またはディスプレイ３４がカメラ追跡システム６の機能を制御することを可能にし得る。
カメラ本体３６は、カメラ基部３８によって支持される。カメラ基部３８は、ロボット基部１０として機能し得る。図１の実施形態では、カメラ基部３８は、ロボット基部１０よりも広くてもよい。カメラ基部３８の幅は、カメラ追跡システム６が外科手術ロボット４と接続することを可能にし得る。図１に例示されるように、カメラ基部３８の幅は、ロボット基部１０の外側に嵌合するのに十分な大きさであり得る。カメラ追跡システム６と外科手術ロボット４とが接続されているとき、カメラ基部３８の追加の幅は、外科手術システム２の追加の操作性と外科手術システム２の支持を可能にし得る。
ロボット基部１０と同様に、複数の動力付きホイール１２がカメラ基部３８に取り付けられ得る。動力付きホイール１２により、カメラ追跡システム６は、ロボット基部１０および動力付きホイール１２の動作と同様に、患者５０に対して固定された向きを安定化して水平にするか、またはそれを設定することができる。この安定化により、カメラ追跡システム６が医療処置中に移動することを防止することができ、図３Ａおよび図５に示されるように、カメラ４６が、ＡＲヘッドセットおよび／または外科手術ロボット４に接続されたＤＲＡの軌跡を見失うこと、および／または指定されたエリア５６内の解剖学的構造５４および／または道具５８に接続された１つ以上のＤＲＡ５２の軌跡を見失うことを阻止することができる。追跡のこの安定性と維持は、カメラ追跡システム６で効果的に動作する外科手術ロボット４の能力を強化する。さらに、広いカメラ基部３８は、カメラ追跡システム６に追加の支持を提供することができる。具体的には、図３Ａおよび図５に例示されるように、幅広のカメラ基部３８により、カメラ４６が患者の上に配設されたときに、カメラ追跡システム６が転倒するのを防止することができる。
カメラ伸縮式支持４０は、カメラ４６を支持することができる。実施形態では、伸縮式支持４０は、カメラ４６を垂直方向に上下に移動させる。カメラハンドル４８は、任意の好適な位置でカメラ伸縮支持４０に取り付けられ得、オペレータが医療手術の前にカメラ追跡システム６を計画された位置に移動させることを可能にするように構成され得る。実施形態では、カメラハンドル４８を使用して、カメラ伸縮式支持４０を下降および上昇させる。カメラハンドル４８は、ボタン、スイッチ、レバー、および／またはそれらの任意の組み合わせの押し下げによって、カメラ伸縮式支持４０の上昇および下降を実施し得る。
下部カメラ支持アーム４２は、任意の好適な場所でカメラ伸縮式支持４０に取り付けることができ、実施形態では、図１に例示されるように、下部カメラ支持アーム４２は、伸縮式支持４０の周りで３６０度回転することができる。この自由な回転により、オペレータはカメラ４６を任意の好適な場所に位置決めすることができる。下部カメラ支持アーム４２は、任意の好適な機構によって伸縮式支持４０に接続することができる。下部カメラ支持アーム４２を使用して、カメラ４６のための支持を提供することができる。カメラ４６は、任意の好適な機構によって下部カメラ支持アーム４２に取り付けられ得る。カメラ４６は、カメラ４６と下部カメラ支持アーム４２との間の取り付け面積で任意の方向に旋回することができる。実施形態では、湾曲レール４４は、下部カメラ支持アーム４２上に配設され得る。
湾曲レール４４は、下部カメラ支持アーム４２上の任意の好適な場所に配設され得る。図３Ａに例示されるように、湾曲レール４４は、任意の好適な機構によって下部カメラ支持アーム４２に取り付けられ得る。湾曲レール４４は、任意の好適な形状であり得、好適な形状は、三日月形、円形、卵形、楕円形、および／またはそれらの任意の組み合わせであり得る。カメラ４６は、湾曲レール４４に沿って移動可能に配設され得る。カメラ４６は、例えば、ローラ、ブラケット、ブレース、モータ、および／またはそれらの任意の組み合わせによって、湾曲レール４４に取り付けられ得る。例示されていないモータおよびローラを使用して、湾曲レール４４に沿ってカメラ４６を移動させることができる。図３Ａに例示されるように、医療処置中に、カメラ４６が１つ以上のＤＲＡを視認することを物体が阻止している場合、モータは、それに応答して湾曲レール４４に沿ってカメラ４６を移動させ得る。この電動化された動きにより、カメラ４６は、カメラ追跡システム６を移動させることなく、物体によってもはや妨げられない新しい位置に移動することができる。カメラ４６が１つ以上の追跡されるＤＲＡを視認することが妨げられている間、カメラ追跡システム６は、停止信号を外科手術ロボット４、ＡＲヘッドセット、ディスプレイ３４、および／またはタブレットに送信し得る。停止信号は、カメラ４６が追跡されるＤＲＡ５２を再取得するまで、および／またはＡＲヘッドセットを装着しているおよび／またはディスプレイ３４および／またはタブレットを視認しているオペレータに警告することができるまで、スカラ２４が移動することを防止し得る。このスカラ２４は、カメラ追跡システムがＤＲＡの追跡を再開することができるまで、ベースおよび／またはエンドエフェクタカプラ２２のさらなる移動を停止することによって、停止信号の受信に応答するように構成できる。
図３Ｂおよび図３Ｃは、図１の外科手術システムとともに使用され得るか、または外科手術ロボットとは独立して使用され得る別のカメラカメラ追跡システム６’の正面図および等角図を例示している。例えば、カメラ追跡システム６’は、ロボットガイダンスの使用を伴わないナビゲートされる外科手術を提供するために使用され得る。図３Ｂおよび図３Ｃのカメラ追跡システム６’と図３Ａのカメラ追跡システム６との違いの１つは、図３Ｂおよび図３Ｃのカメラ追跡システム６’が、コンピュータプラットフォーム９１０を運搬するハウジングを含むことである。コンピュータプラットフォーム９１０は、カメラ追跡動作を実行してＤＲＡを追跡し、外科手術ナビゲーション情報をディスプレイデバイス、例えば、ＡＲヘッドセットおよび／または他のディスプレイデバイスに提供するナビゲートされる外科手術動作を実行し、本明細書に開示される他の計算動作を実行するように構成できる。
図６は、医療手術に使用される図５の外科手術システムの構成要素のブロック図ビューを例示している。図６を参照すると、ナビゲーションカメラ４６は、ナビゲーション視野６００を有し、ここで、患者に取り付けられた参照アレイ６０２のポーズ（例えば、位置および向き）、手術器具に取り付けられた参照アレイ６０４、およびロボットアーム２０が、追跡される。ナビゲーションカメラ４６は、以下に記載される動作を実行するように構成されたコンピュータプラットフォーム９１０を含む、図３Ｂおよび図３Ｃのカメラ追跡システム６’の一部であり得る。参照アレイは、既知のパターンで光を反射することによって追跡を可能にし、既知のパターンがデコードされて、外科手術ロボット４の追跡サブシステムによってそれぞれのポーズを決定する。患者の参照アレイ６０２とナビゲーションカメラ４６との間の視線が（例えば、医療従事者、器具などによって）遮断された場合、手術器具のさらなるナビゲーションを実行することができない可能性があり、応答通知は、ロボットアーム２０および外科手術ロボット４のさらなる移動を一時的に停止し、ディスプレイ３４に警告を表示し、および／または医療従事者に可聴警告を提供し得る。ディスプレイ３４は、外科医６１０および助手６１２がアクセス可能であるが、視認するには、患者から顔をそらし、眼の焦点を異なる距離および場所に変化させる必要がある。ナビゲーションソフトウェアは、外科医からの音声指示に基づいて、技術従事者６１４によって制御され得る。
図７は、外科手術システム２のナビゲーション機能を使用するときに、外科手術ロボット４によって図５および図６のディスプレイ３４に表示され得る様々な表示画面を例示している。表示画面は、開発された外科手術計画に基づいて、および／または追跡される参照アレイのポーズに基づいて、解剖学的構造に対して表示画面に位置決めされた器具のモデルのグラフィック表現がオーバーレイされた患者の放射線写真、外科的処置の異なる段階および仮想的に投影されたインプラントの寸法パラメータ（例えば、長さ、幅、および／または直径）を制御するためのユーザ選択可能なメニューを含むことができるが、これに限定されない。
ナビゲートされる外科手術のために、外科手術の術前計画、例えば、インプラント配置、および計画された外科的処置中の１人または複数のユーザにナビゲーション情報を提供するためのコンピュータプラットフォーム９１０への計画の電子転送を可能にする、以下に記載される様々な処理構成要素（例えば、コンピュータプラットフォーム９１０）および関連付けられたソフトウェアが提供される。
ロボットナビゲーションのために、外科手術の術前計画、例えば、インプラント配置、および外科手術ロボット４への計画の電子転送を可能にする、以下に記載される様々な処理構成要素（例えば、コンピュータプラットフォーム９１０）および関連付けられたソフトウェアが提供される。外科手術ロボット４は、計画を使用して、ロボットアーム２０および接続されたエンドエフェクタ２６を誘導して、計画された外科的処置のステップのための患者の解剖学的構造に対する手術道具の目標ポーズを提供する。
以下の様々な実施形態は、外科医６１０、助手６１２、および／または他の医療従事者が着用できる１つ以上のＡＲヘッドセットを使用して、外科手術ロボット、カメラ追跡システム６／６’、および／または手術室の他の医療機器から情報を受信し、および／またはこれらに制御コマンドを提供するための改善されたユーザインターフェースを提供することを対象とする。
図８は、本開示のいくつかの実施形態による、外科手術ロボット４のいくつかの電気的構成要素のブロック図を例示している。図８を参照すると、ロードセル（図示せず）は、エンドエフェクタカプラ２２に加えられた力を追跡するように構成され得る。いくつかの実施形態では、ロードセルは、複数のモータ８５０、８５１、８５２、８５３、および／または８５４と通信し得る。ロードセルが力を感知する際、加えられた力の量に関する情報が、スイッチアレイおよび／または複数のスイッチアレイからコントローラ８４６に配信され得る。コントローラ８４６は、ロードセルから力情報を取得し、力情報をスイッチアルゴリズムで処理し得る。スイッチアルゴリズムは、コントローラ８４６によって使用されて、モータドライバ８４２を制御する。モータドライバ８４２は、モータ８５０、８５１、８５２、８５３、および８５４のうちの１つ以上の動作を制御する。モータドライバ８４２は、特定のモータに、例えば、モータを介してロードセルによって測定された等しい量の力を生成するように指示し得る。いくつかの実施形態では、生成される力は、コントローラ８４６の指示どおりに、複数のモータ、例えば、８５０〜８５４から生じ得る。さらに、モータドライバ８４２は、コントローラ８４６から入力を受信することができる。コントローラ８４６は、ロードセルによって感知された力の方向に関してロードセルから情報を受信し得る。コントローラ８４６は、運動コントローラアルゴリズムを使用して、この情報を処理することができる。このアルゴリズムを使用して、特定のモータドライバ８４２に情報を提供することができる。力の方向を複製するために、コントローラ８４６は、特定のモータドライバ８４２を起動および／または起動解除することができる。コントローラ８４６は、１つ以上のモータ、例えば８５０〜８５４のうちの１つ以上、を制御して、ロードセルによって感知された力の方向にエンドエフェクタ２６の運動を誘起し得る。この力によって制御される運動により、オペレータは、スカラ２４および受動的なエンドエフェクタ２６を楽に、かつ／またはほとんど抵抗なく移動させ得る。エンドエフェクタ２６の移動は、医療従事者が使用するために、エンドエフェクタ２６を任意の好適なポーズ（すなわち、規定された三次元（３Ｄ）直交基準軸に対する場所および角度の向き）に位置決めするように実行され得る。
図５に最もよく例示されている起動アセンブリ６０は、エンドエフェクタカプラ２２を包むブレスレットの形態をなし得る。起動アセンブリ６０は、スカラ２４の任意の部分、エンドエフェクタカプラ２２の任意の部分に位置し得、医療従事者および／またはそれらの任意の組み合わせによって着用され（および無線で通信し）得る。起動アセンブリ６０は、一次ボタンおよび二次ボタンを含み得る。
一次ボタンを押し下げることにより、オペレータは、スカラ２４およびエンドエフェクタカプラ２２を移動させることができ得る。一実施形態によれば、一旦設置されると、スカラ２４およびエンドエフェクタカプラ２２は、オペレータがスカラ２４およびエンドエフェクタカプラ２２を移動させるように外科手術ロボット４をプログラムするまで移動しないことが可能であるか、または一次ボタンを使用して移動される。いくつかの例では、スカラ２４およびエンドエフェクタカプラ２２がオペレータコマンドに応答する前に、少なくとも２つの隣接しない一次起動スイッチを押し下げることを必要とし得る。少なくとも２つの一次起動スイッチを押し下げることにより、医療処置中のスカラ２４およびエンドエフェクタカプラ２２の偶発的な移動を防止し得る。
一次ボタンによって起動されると、ロードセルは、オペレータ、すなわち、医療従事者によってエンドエフェクタカプラ２２に及ぼされる力の大きさおよび／または方向を測定し得る。この情報は、スカラ２４およびエンドエフェクタカプラ２２を移動させるために使用され得る、スカラ２４内の１つ以上のモータ、例えば８５０〜８５４のうちの１つ以上に転送され得る。ロードセルによって測定された力の大きさおよび方向に関する情報は、１つ以上のモータ、例えば８５０〜８５４のうちの１つ以上に、ロードセルによって感知されるのと同じ方向にスカラ２４およびエンドエフェクタカプラ２２を移動させ得る。この力制御型の動きにより、モータがスカラ２４およびエンドエフェクタカプラ２２を移動させるのと同時に、オペレータがスカラ２４およびエンドエフェクタカプラ２２を移動させるため、オペレータは、楽に、かつ大きな労力なしに、スカラ２４およびエンドエフェクタカプラ２２を移動することが可能になり得る。
いくつかの例では、二次ボタンは、「選択」デバイスとしてオペレータによって使用され得る。医療手術中、外科手術ロボット４は、ＡＲヘッドセット（単数または複数）９２０、ディスプレイ３４および／または光インジケータ２８によって特定の状況を医療従事者に通知し得る。ＡＲヘッドセット（単数または複数）９２０は各々、シースルー表示画面上に画像を表示して、シースルー表示画面を通して視認可能な現実世界の物体上にオーバーレイされる拡張現実画像を形成するように構成されている。医療従事者は、外科手術ロボット４によって、機能、モードを選択し、かつ／または外科手術システム２の状況を評価するように促されることがある。二次ボタンを１回押し下げることにより、特定の機能、モードが起動され、かつ／またはＡＲヘッドセット（単数または複数）９２０、ディスプレイ３４、および／もしくは光インジケータ２８を介して医療従事者に伝達される情報が確認され得る。これに加えて、二次ボタンを素早く連続して複数回押し下げると、追加の機能、モードを起動し、かつ／またはＡＲヘッドセット（単数または複数）９２０、ディスプレイ３４、および／もしくは光インジケータ２８を介して医療従事者に伝達される情報を選択し得る。
図８をさらに参照すると、外科手術ロボット４の電気的構成要素は、プラットフォームサブシステム８０２、コンピュータサブシステム８２０、運動制御サブシステム８４０、および追跡サブシステム８３０を含む。プラットフォームサブシステム８０２は、バッテリ８０６、配電モジュール８０４、コネクタパネル８０８、および充電ステーション８１０を含む。コンピュータサブシステム８２０は、コンピュータ８２２、ディスプレイ８２４、およびスピーカ８２６を含む。運動制御サブシステム８４０は、ドライバ回路８４２、モータ８５０、８５１、８５２、８５３、８５４、スタビライザ８５５、８５６、８５７、８５８、エンドエフェクタコネクタ８４４、およびコントローラ８４６を含む。追跡サブシステム８３０は、位置センサ８３２、およびカメラコンバータ８３４を含む。外科手術ロボット４はまた、取り外し可能なフットペダル８８０、および取り外し可能なタブレットコンピュータ８９０を含み得る。
入力電力は、配電モジュール８０４に提供され得る電源を介して外科手術ロボット４に供給される。配電モジュール８０４は、入力電力を受け取り、かつ外科手術ロボット４の他のモジュール、構成要素、およびサブシステムに提供される異なる電源電圧を生成するように構成されている。配電モジュール８０４は、コンピュータ８２２、ディスプレイ８２４、スピーカ８２６、ドライバ８４２などの他の構成要素に、例えば、動力モータ８５０〜８５４およびエンドエフェクタカプラ８４４に提供され、かつカメラコンバータ８３４および外科手術ロボット４の他の構成要素に提供され得る、異なる電圧供給をコネクタパネル８０８に提供するように構成され得る。配電モジュール８０４はまた、バッテリ８０６に接続されてもよく、バッテリ８０６は、配電モジュール８０４が入力電力から電力を受信しない場合の一時的な電源として役立つ。他の場合には、配電モジュール８０４は、バッテリ８０６を充電するのに役立つ場合がある。
コネクタパネル８０８は、異なるデバイスおよび構成要素を外科手術ロボット４ならびに／または関連付けられた構成要素およびモジュールに接続するのに役立ち得る。コネクタパネル８０８は、異なる構成要素からの配線または接続部を受容する１つ以上のポートを含み得る。例えば、コネクタパネル８０８は、外科手術ロボット４を他の機器に接地し得る接地端子ポートと、フットペダル８８０を接続するポートと、位置センサ８３２、カメラコンバータ８３４、およびＤＲＡ追跡カメラ８７０を含み得る追跡サブシステム８３０に接続するポートと、を有し得る。コネクタパネル８０８はまた、コンピュータ８２２などの他の構成要素へのＵＳＢ、Ｅｔｈｅｒｎｅｔ、ＨＤＭＩ通信を可能にする他のポートを含み得る。いくつかの実施形態に従えば、コネクタパネル８０８は、１つ以上のＡＲヘッドセット９２０を追跡サブシステム８３０および／またはコンピュータサブシステム８２０に動作可能に接続するための有線および／または無線インターフェースを含むことができる。
制御パネル８１６は、外科手術ロボット４の動作を制御し、かつ／またはオペレータが観察するための外科手術ロボット４からの情報を提供する、様々なボタンまたはインジケータを提供し得る。例えば、制御パネル８１６は、外科手術ロボット４の電源を入れたり切ったりするため、垂直支柱１６を持ち上げたり下降させたりするため、ならびにキャスタ１２と係合して外科手術ロボット４を物理的に移動しないようにロックするように設計され得るスタビライザ８５５〜８５８を持ち上げたり下降させたりするための、ボタンを含み得る。他のボタンは、緊急事態の際に外科手術ロボット４を停止し得、これにより、すべてのモータ電力を取り除いて、機械的ブレーキを適用して、すべての運動の発生を停止し得る。制御パネル８１６はまた、配線電力インジケータまたはバッテリ８０６の充電状態などの特定のシステムの状況をオペレータに通知するインジケータを有し得る。いくつかの実施形態に従えば、１つ以上のＡＲヘッドセット９２０は、例えばコネクタパネル８０８を介して通信して、外科手術ロボット４の動作を制御し、および／またはＡＲヘッドセット９２０を装着している人による観察のために外科手術ロボット４によって生成された情報を受信および表示し得る。
コンピュータサブシステム８２０のコンピュータ８２２は、外科手術ロボット４の割り当てられた機能を動作させるためのオペレーティングシステムおよびソフトウェアを含む。コンピュータ８２２は、情報をオペレータに表示するために、他の構成要素（例えば、追跡サブシステム８３０、プラットフォームサブシステム８０２、および／または運動制御サブシステム８４０）から情報を受信して処理することができる。さらに、コンピュータサブシステム８２０は、スピーカ８２６を介してオペレータに出力を提供することができる。スピーカは、外科手術ロボットの一部であり得るか、ＡＲヘッドセット９２０の一部であり得るか、または外科手術システム２の別の構成要素内にあり得る。ディスプレイ８２４は、図１および図２に示されるディスプレイ３４に対応し得る。
追跡サブシステム８３０は、位置センサ８３２、およびカメラコンバータ８３４を含み得る。追跡サブシステム８３０は、図３のカメラ追跡システム６に対応し得る。ＤＲＡ追跡カメラ８７０は、位置センサ８３２とともに動作して、ＤＲＡ５２のポーズを決定する。この追跡は、ＬＥＤまたは反射マーカなどのＤＲＡ５２の能動的または受動的な要素の場所をそれぞれ追跡する赤外線または可視光技術の使用を含む、本開示に矛盾しない様式で行うことができる。
追跡サブシステム８３０およびコンピュータサブシステム８２０の機能的動作は、図３Ａおよび図３Ｂのカメラ追跡システム６’によって運搬できるコンピュータプラットフォーム９１０に含めることができる。追跡サブシステム８３０は、ポーズ、例えば、追跡されるＤＲＡの位置および角度の向きを決定するように構成できる。コンピュータプラットフォーム９１０はまた、決定されたポーズを使用して、計画された外科的処置中に、位置登録された患者画像および／または追跡される解剖学的構造に対する追跡される道具の動きを誘導するナビゲーション情報をユーザに提供するように構成されたナビゲーションコントローラを含むことができる。コンピュータプラットフォーム９１０は、図３Ｂおよび図３Ｃのディスプレイ、および／または１つ以上のＡＲヘッドセット９２０に情報を表示することができる。コンピュータプラットフォーム９１０は、外科手術ロボットとともに使用される場合、コンピュータサブシステム８２０および図８の他のサブシステムと通信して、エンドエフェクタ２６の移動を制御するように構成できる。例えば、以下で説明するように、コンピュータプラットフォーム９１０は、表示されるサイズ、形状、色、および／またはポーズを有する、患者の解剖学的構造、手術道具、ユーザの手などの、１つ以上の追跡されるＤＲＡの決定されたポーズ（単数または複数）に基づいて制御されるグラフィック表現を生成することができ、および表示されるそのグラフィック表現を動的に修正して、決定されたポーズの経時的な変化を追跡することができる。
運動制御サブシステム８４０は、垂直支柱１６、上部アーム１８、下部アーム２０を物理的に移動させるか、またはエンドエフェクタカプラ２２を回転させるように構成され得る。物理的な動きは、１つ以上のモータ８５０〜８５４を使用することによって行うことができる。例えば、モータ８５０は、垂直支柱１６を垂直に持ち上げるまたは下降させるように構成され得る。モータ８５１は、図２に示されるように、垂直支柱１６との係合点の周りで上部アーム１８を横方向に移動させるように構成され得る。モータ８５２は、図２に示されるように、上部アーム１８との係合点の周りで下部アーム２０を横方向に移動させるように構成され得る。モータ８５３および８５４は、エンドエフェクタカプラ２２を移動させて、三次元軸の周りに沿って並進の動きおよび回転を提供するように構成され得る。図９に示されるコンピュータプラットフォーム９１０は、エンドエフェクタカプラ２２の移動を誘導するコントローラ８４６に制御入力を提供して、エンドエフェクタカプラ２２に接続された受動的なエンドエフェクタを、計画された外科的処置中に手術される解剖学的構造に対して、計画されたポーズ（すなわち、定義された３Ｄ直交基準軸に対する場所および角度の向き）で位置決めすることができる。運動制御サブシステム８４０は、統合された位置センサ（例えば、エンコーダ）を使用して、エンドエフェクタカプラ２２および／またはエンドエフェクタ２６の位置を測定するように構成され得る。
図９は、カメラ追跡システム６（図３Ａ）または６’（図３Ｂ、図３Ｃ）、および／または本開示のいくつかの実施形態による外科手術ロボット４に動作可能に接続できるコンピュータプラットフォーム９１０に接続された撮像デバイス（例えば、Ｃアーム１０４、Ｏアーム１０６など）を含む外科手術システムの構成要素のブロック図を例示している。これに代えて、コンピュータプラットフォーム９１０によって実行されるものとして本明細書に開示される少なくともいくつかの動作は、追加的または代替的に、外科手術システムの構成要素によって実行され得る。
図９を参照すると、コンピュータプラットフォーム９１０は、ディスプレイ９１２、少なくとも１つのプロセッサ回路９１４（簡潔にするためにプロセッサとも呼ばれる）、コンピュータ可読プログラムコード９１８を内包する少なくとも１つのメモリ回路９１６（簡潔にするためにメモリとも呼ばれる）、および少なくとも１つのネットワークインターフェース９０２（簡潔にするためにネットワークインターフェースとも呼ばれる）を含む。ディスプレイ９１２は、本開示のいくつかの実施形態に従う、ＡＲヘッドセット９２０の一部であり得る。ネットワークインターフェース９０２は、図１０のＣアーム撮像デバイス１０４、図１１のＯアーム撮像デバイス１０６、別の医療撮像デバイス、患者の医療画像を内包する画像データベース９５０、外科手術ロボット４の構成要素、および／または他の電子機器に接続するように構成できる。
外科手術ロボット４とともに使用される場合、ディスプレイ９１２は、図２のディスプレイ３４、および／または図８のタブレット８９０、および／または外科手術ロボット４に動作可能に接続されたＡＲヘッドセット９２０に対応し得、ネットワークインターフェース９０２は、図８のプラットフォームネットワークインターフェース８１２に対応し得、プロセッサ９１４は、図８のコンピュータ８２２に対応し得る。ＡＲヘッドセット９２０のネットワークインターフェース９０２は、有線ネットワーク、例えば、シンワイヤＥｔｈｅｒｎｅｔを介して、および／または１つ以上の無線通信プロトコル、例えば、ＷＬＡＮ、３ＧＰＰ ４Ｇおよび／または５Ｇ（新無線）セルラー通信規格などに従って無線ＲＦ送受信リンクを介して通信するように構成され得る。
プロセッサ９１４は、汎用および／または専用プロセッサ、例えば、マイクロプロセッサおよび／またはデジタル信号プロセッサなどの１つ以上のデータ処理回路を含み得る。プロセッサ９１４は、メモリ９１６内のコンピュータ可読プログラムコード９１８を実行して、外科手術計画、ナビゲートされる外科手術、および／またはロボット外科手術のために実行されるものとして本明細書に記載される動作の一部またはすべてを含み得る動作を実行するように構成されている。
コンピュータプラットフォーム９１０は、外科手術計画機能性を提供するように構成できる。プロセッサ９１４は、撮像デバイス１０４および１０６のうちの一方から、および／またはネットワークインターフェース９２０を介して画像データベース９５０から受信された解剖学的構造、例えば椎骨の画像をディスプレイデバイス９１２および／またはＡＲヘッドセット９２０に表示するように動作することができる。プロセッサ９１４は、計画された外科的処置のためにオペレータタッチがディスプレイ９１２上の場所を選択することによって、または計画された外科的処置のための場所を定義するためにマウスベースのカーソルを使用することなどによって、１つ以上の画像で示される解剖学的構造が、外科的処置、例えばスクリュー配置を受ける場所のオペレータの定義を受信する。画像がＡＲヘッドセット９２０に表示される場合、ＡＲヘッドセットは、着用者によって形成されたジェスチャベースのコマンドで感知するように、および／または着用者によって話されたボイスベースのコマンドを感知するように構成でき、これを使用してメニュー項目間の選択を制御し、および／または以下でさらに詳述するように、ＡＲヘッドセット９２０に物体がどのように表示されるかを制御することができる。
コンピュータプラットフォーム９１０は、股関節の中心、角度の中心、天然の目印（例えば、トランス上顆線、ホワイトサイド線、後顆線など）などを決定する様々な角度の測定のような、膝の外科手術に特に有用であり得る生体構造の測定を可能にするように構成できる。いくつかの測定は、自動であり得る一方、いくつかの他の測定は、人間の入力または支援を伴い得る。コンピュータプラットフォーム９１０は、オペレータが、サイズおよび整列の選択を含む、患者のための正しいインプラントの選択を入力することを可能にするように構成され得る。コンピュータプラットフォーム９１０は、ＣＴ画像または他の医療画像に対して自動または半自動（人間の入力を伴う）のセグメンテーション（画像処理）を実行するように構成され得る。患者の外科手術計画は、外科手術ロボット４による検索のために、データベース９５０に対応し得るクラウドベースのサーバに記憶され得る。
例えば、整形外科手術中に、外科医は、コンピュータ画面（例えば、タッチ画面）または例えばＡＲヘッドセット９２０を介した拡張現実インタラクション（例えば、ハンドジェスチャベースのコマンドおよび／またはボイスベースのコマンド）を使用して、どのカットを作成するか（例えば、後部大腿骨、近位脛骨など）を選択し得る。コンピュータプラットフォーム９１０は、外科的処置を実行するために外科医に視覚的ガイダンスを提供するナビゲーション情報を生成することができる。外科手術ロボット４とともに使用される場合、コンピュータプラットフォーム９１０は、外科手術ロボット４がエンドエフェクタ２６を目標ポーズに自動的に移動させて、外科用道具が目標場所に整列されて解剖学的構造に対する外科的処置を実行するようにすることを可能にするガイダンスを提供することができる。
いくつかの実施形態では、外科手術システム９００は、２つのＤＲＡを使用して、患者の脛骨に接続されたもの、および患者の大腿骨に接続されたものなど、患者の生体構造の位置を追跡することができる。システム９００は、整列およびチェックのための標準のナビゲートされる器具（例えば、脊椎外科手術のためにＧｌｏｂｕｓ ＥｘｃｅｌｓｉｕｓＧＰＳシステムで使用されるものと同様のポインタ）を使用し得る。
ナビゲートされる外科手術で特に難しい作業は、３Ｄ解剖学的構造の２Ｄ表現であるコンピュータ画面上で外科医が作業を実行するのに苦労する脊椎、膝、および他の解剖学的構造におけるインプラントの位置を計画する方法である。システム９００は、ＡＲヘッドセット９２０を使用して、解剖学的構造および候補インプラントデバイスのコンピュータで生成された三次元（３Ｄ）表現を表示することによって、この問題に対処することが可能である。コンピュータで生成された表現は、コンピュータプラットフォーム９１０のガイダンスの下で、表示画面上で互いに対してスケーリングおよびポーズ決めされ、ＡＲヘッドセット９２０を介して視認される間、外科医によって操作できる。外科医は、例えば、ＡＲヘッドセット９２０によって感知されるハンドジェスチャベースのコマンドおよび／またはボイスベースのコマンドを使用して、解剖学的構造、インプラント、手術道具などの、表示された、コンピュータで生成された表現を操作し得る。
例えば、外科医は、仮想インプラント上の表示された仮想ハンドルを視認することができ、仮想ハンドルを操作し（例えば、つかんで移動させ）て、仮想インプラントを所望のポーズに移動させ、解剖学的構造のグラフィック表現に対する計画されたインプラントの配置を調整することができる。その後、外科手術中に、コンピュータプラットフォーム９１０は、ＡＲヘッドセット９２０を介してナビゲーション情報を表示することが可能であり、これにより、インプラントを挿入するための外科的計画により正確に追従し、および／または解剖学的構造に対する別の外科的処置を実行する外科医の能力が増進される。外科的処置が骨除去を伴う場合、骨除去の進行、例えば切込みの深さを、ＡＲヘッドセット９２０を介してリアルタイムで表示することができる。ＡＲヘッドセット９２０を介して表示され得る他の特徴として、関節運動の範囲に沿った間隙または靭帯のバランス、関節運動の範囲に沿ったインプラントの接触線、色または他のグラフィックレンダリングによる靭帯の緊張および／または弛緩などを挙げることができるが、これらに限定されない。
いくつかの実施形態では、コンピュータプラットフォーム９１０は、標準の手術道具および／またはインプラント、例えば、後方安定化インプラントおよび十字型保持インプラント、セメント固定およびセメントレスインプラント、例えば、膝関節全置換もしくは部分置換術、および／または股関節置換術、および／または外傷に関連した外科手術のための是正システムの使用を計画することを可能にすることができる。
自動撮像システムをコンピュータプラットフォーム９１０と連携して使用して、解剖学的構造の術前、術中、術後、および／またはリアルタイムの画像データを取得することができる。例示的な自動撮像システムが、図１０および１１に例示されている。いくつかの実施形態では、自動撮像システムは、Ｃアーム１０４（図１０）撮像デバイスまたはＯ−ａｒｍ（登録商標）１０６（図１１）である。（Ｏ−ａｒｍ（登録商標）は、米国コロラド州ルイビルに事業所があるＭｅｄｔｒｏｎｉｃ Ｎａｖｉｇａｔｉｏｎ，Ｉｎｃ．が著作権を所有している）Ｘ線システムで必要とされ得る、患者の頻繁な手動による再位置決めを必要とすることなく、いくつかの異なる位置から患者のＸ線を撮影することが望ましい場合がある。Ｃアーム１０４のＸ線診断機器は、頻繁な手動による再位置決めの問題を解決することができ、外科手術および他の介在する処置の医療分野でよく知られている場合がある。図１０に例示されるように、Ｃアームは、「Ｃ」形状の対向する遠位端１１２で終端する細長いＣ形状の部材を含む。Ｃ形状の部材は、Ｘ線源１１４および画像受信器１１６に取り付けられている。アームのＣアーム１０４内の空間は、Ｘ線支持構造からの干渉が実質的にない状態で医師が患者に付き添う余地を提供する。
Ｃアームは、２つの自由度でのアームの回転の動きを可能にするように装着されている（すなわち、球面運動での２つの直交軸を中心として）。Ｃアームは、Ｘ線支持構造に摺動可能に装着され、これにより、Ｃアームの曲率中心を中心とした周回回転方向の動きが可能になり、Ｘ線源１１４および画像受信器１１６を垂直および／または水平方向に選択的に向けることを可能にすることができる。Ｃアームはまた、横方向（すなわち、患者の幅および長さの両方に対するＸ線源１１４および画像受信器１１６の選択的に調節可能な位置決めを可能にする周回方向に対して直交方向）に回転可能であってもよい。Ｃアーム装置の球面回転の態様により、医師は、撮像されている特定の解剖学的状況に関して決定された最適な角度で患者のＸ線を撮影することができる。
図１１に例示されているＯ−ａｒｍ（登録商標）１０６は、例示されていない画像キャプチャ部分を取り囲むことができるガントリハウジング１２４を含む。画像キャプチャ部分は、Ｘ線源および／または放出部分と、Ｘ線受信および／または画像受信部分と、を含み、これらを互いに約１８０度に配設し、画像キャプチャ部分の追跡に対してロータ（例示せず）上に装着することができる。画像キャプチャ部分は、画像取得中に３６０度回転するように動作可能であってもよい。画像キャプチャ部分は、中心点および／または軸を中心として回転することができ、患者の画像データが複数の方向から、または複数の平面で取得されることを可能にする。
ガントリハウジング１２４を備えたＯ−ａｒｍ（登録商標）１０６は、撮像される物体の周りに位置決めするための中央開口部と、ガントリハウジング１２４の内部の周りで回転可能な放射線源と、を有し、放射線源は、複数の異なる投影角度から放射線を投影するように適合され得る。検出器システムは、各投影角度で放射線を検出して、物体画像を複数の投影面から擬似的に同時に取得するように適合されている。ガントリは、カンチレバー様式で、ホイールを有するホイール付き移動式カートなどの支持構造Ｏ−ａｒｍ（登録商標）支持構造に取り付けることができる。位置決めユニットは、好ましくはコンピュータ化された運動制御システムの制御下で、ガントリを計画された位置および向きに並進および／または傾斜させる。ガントリは、ガントリ上で互いに対向して配設された供給源および検出器を含み得る。供給源および検出器は、供給源および検出器を互いに協調させてガントリの内部の周りで回転させることができる電動ロータに固設され得る。供給源は、ガントリの内側に位置する目標物体の多平面撮像のために、部分的および／または完全に３６０度の回転にわたって複数の位置および向きでパルス化され得る。ガントリは、ロータが回転するときにロータを誘導するためのレールおよび支承システムをさらに備えることができ、これは、供給源および検出器を搬送することができる。Ｏ−ａｒｍ（登録商標）１０６およびＣアーム１０４の両方および／またはいずれかを自動撮像システムとして使用して、患者をスキャンし、情報を外科手術システム２に送ることができる。
撮像システムによってキャプチャされた画像は、ＡＲヘッドセット９２０および／またはコンピュータプラットフォーム９１０の別のディスプレイデバイス、外科手術ロボット４、および／または外科用システム９００の別の構成要素に表示することができる。ＡＲヘッドセット９２０は、例えば、コンピュータプラットフォーム９１０を介して、撮像デバイス１０４および／または１０６のうちの１つ以上、および／または画像データベース９５０に接続されて、画像データベース９５０からの画像を表示し得る。ユーザは、ＡＲヘッドセット９２０を介して制御入力、例えば、ジェスチャおよび／またはボイスベースのコマンドを提供して、撮像デバイス１０４および／または１０６および／または画像データベース９５０のうちの１つ以上の動作を制御し得る。
図１２は、図１３に示されるＡＲヘッドセット９２０に対応し、かつ本開示のいくつかの実施形態に従って動作し得るＡＲヘッドセット１２００および１２１０（ヘッドマウントディスプレイＨＭＤ１およびＨＭＤ２）の対を含む外科手術システムの構成要素のブロック図ビューを例示している。
図１２の例示的なシナリオを参照すると、助手６１２および外科医６１０は両方とも、それぞれＡＲヘッドセット１２１０および１２１０を着用している。助手６１２がＡＲヘッドセット１２１０を着用することは任意である。ＡＲヘッドセット１２００および１２１０は、着用者が、以下にさらに記載するように、外科的処置に関連した情報を視認し、および情報とインタラクトすることができるインタラクティブな環境を提供するように構成されている。このインタラクティブなＡＲベースの環境は、技術者６１４が手術室に存在する必要性を排除し得、図６に示されるディスプレイ３４の使用の必要性を排除し得る。各ＡＲヘッドセット１２００および１２１０は、器具、解剖学的構造、エンドエフェクタ２６、および／または他の機器に取り付けられたＤＲＡまたは他の参照アレイの追加の追跡ソースを提供するように構成された１つ以上のカメラを含むことができる。図１２の例では、ＡＲヘッドセット１２００は、ＤＲＡおよび他の物体を追跡するための視野（ＦＯＶ）１２０２を有し、ＡＲヘッドセット１２１０は、ＤＲＡおよび他の物体を追跡するためのＦＯＶ１２０２と部分的に重なるＦＯＶ１２１２を有し、ナビゲーションカメラ４６は、ＤＲＡおよび他の物体を追跡するために、ＦＯＶ１２０２および１２１２と部分的に重複する別のＦＯＶ６００を有する。
１つ以上のカメラが、追跡される物体、例えば手術器具、に取り付けられたＤＲＡを視認するのを妨げられているが、ＤＲＡが１つ以上の他のカメラを視野に入れている場合、追跡サブシステム８３０および／またはナビゲーションコントローラ８２８は、ナビゲーションを喪失せずにシームレスに物体を追跡し続けることができる。これに加えて、１つのカメラの観点からＤＲＡが部分的に隠れているが、ＤＲＡ全体が複数のカメラソースを介して視認可能である場合、カメラの追跡入力を統合して、ＤＲＡのナビゲーションを続けることができる。ＡＲヘッドセットおよび／またはナビゲーションカメラ４６のうちの１つは、ＡＲヘッドセットのうちの別の１つ上のＤＲＡを視認および追跡して、コンピュータプラットフォーム９１０（図９および図１４）、追跡サブシステム８３０、および／または別のコンピューティング構成要素がＡＲヘッドセットのポーズを決定することを可能にし得る。
ＡＲヘッドセット１２００および１２１０は、神経モニタリング、顕微鏡、ビデオカメラ、および麻酔システムを含むがこれらに限定されない手術室内の様々な機器から受信されたビデオ、写真、および／または他の情報を表示するように、および／またはこれらの機器を制御するコマンドを提供するように動作可能に接続できる。様々な機器からのデータは、例えば、患者のバイタルサインまたは顕微鏡フィードの表示など、ヘッドセット内で処理および表示され得る。
例示的なＡＲヘッドセット構成要素ならびに外科手術ロボットおよび他の機器への統合
図１３は、本開示のいくつかの実施形態に従って構成されたＡＲヘッドセット９２０を例示している。ＡＲヘッドセットは、ＡＲヘッドセットを着用者の頭に固定するように構成されたヘッドバンド１３０６を含み、表示画面１３０２と、ヘッドバンド１３０６によって支持された電子部品エンクロージャ１３０４と、を含む。表示画面１３０２は、シースルーＬＣＤディスプレイデバイス、またはディスプレイデバイスによって着用者の目に向けて投影された画像を反射する半反射レンズであり得る。
図１４は、コンピュータプラットフォーム９１０に、Ｃアーム撮像デバイス１０４、Ｏアーム撮像デバイス１０６などの撮像デバイスのうちの１つ以上および／または画像データベース９５０に、および／または本開示のいくつかの実施形態に従う外科手術ロボット８００に動作可能に接続できるＡＲヘッドセット９２０の電気的構成要素を例示している。
ＡＲヘッドセット９２０は、ナビゲートされる外科的処置を実行するための改善されたヒューマンインターフェースを提供する。ＡＲヘッドセット９２０は、ハンドジェスチャベースのコマンドの識別および／またはボイスベースのコマンドの識別のうちの任意の１つ以上を含むがこれらに限定されない機能性を、例えばコンピュータプラットフォーム９１０を介して提供し、ＡＲグラフィック物体を、表示画面１４５０および関連付けられた光学系を通して視認される特定の現実世界物体に固定され得るオーバーレイとして表示し、様々な定義された表示領域に画像を表示し、１つ以上のＡＲヘッドセット９２０および他のカメラに装着されたカメラからのビデオフィードを表示し、かつ（内蔵されるか、または他の方法により接続可能な）外科手術光を制御するなどするように構成できる。
ＡＲヘッドセット９２０の電気的構成要素は、１つ以上のカメラ１４４０、マイクロフォン１４４２、ジェスチャセンサ１４４４、ポーズセンサ（例えば、慣性測定ユニット（ＩＭＵ））１４４６、ディスプレイモジュール１４４８、および着用者が視認するために画像を表示し、かつ着用者が視認するために少なくともいくらかの周囲光が通過できるようにするように構成された表示画面１４５０を含むことができる。１つ以上のカメラ１４４０は、カメラ（単数または複数）１４４０の視野内で実行されるユーザのハンドジェスチャの識別を可能にすることによって、ジェスチャセンサ１４４４として動作するように構成され得る。これに代えて、ジェスチャセンサ１４４４は、近接センサ、および／またはジェスチャセンサ１４４４に近接して実行されるハンドジェスチャを感知し、および／または物理的接触、例えばセンサまたはエンクロージャ１３０４を軽くたたくことを感知するタッチセンサであり得る。ポーズセンサ１４４６、例えばＩＭＵは、１つ以上の定義された座標軸に沿ったＡＲヘッドセット９２０の回転および／または加速度を感知することができる多軸加速度計、傾斜センサ、および／または別のセンサを含み得る。これらの電気的構成要素のいくつかまたはすべては、構成要素筐体１３０４に内包され得るか、または腰もしくは肩などの他の箇所で着用されるように構成された別の筐体に内包され得る。
上記で説明したように、外科手術システム２は、追跡システム、例えば、図１２の６／６’および図８の追跡サブシステム８３０、ならびに／またはコンピュータプラットフォーム９１０および外科ロボット４を含む。追跡システムは、解剖学的構造のポーズ、ならびにエンドエフェクタおよび／または手術道具のポーズを決定するように構成されている。外科手術ロボット４は、１つ以上のナビゲーションコントローラ、例えば図１４の８２８を含み、これらは、例えば図９のコンピュータプラットフォーム９１０によって実行される外科手術計画機能から、外科手術計画に基づいて手術道具の目標ポーズを決定するように構成されており、解剖学的構造に対して解剖学的構造のポーズに基づいて手術道具を使用して外科的処置が実行される場所を定義する。１つ以上のナビゲーションコントローラは、手術道具の目標ポーズ、解剖学的構造のポーズ、および手術道具および／またはエンドエフェクタのポーズに基づいて操縦情報を生成するようにさらに構成されており、操縦情報は、手術道具および／またはエンドエフェクタを少なくとも１つのモータの制御下で移動させる必要がある場所を示す。
ＡＲヘッドセット９２０の電気的構成要素は、有線／無線インターフェース１４５２を介してコンピュータプラットフォーム９１０の電気的構成要素に動作可能に接続できる。ＡＲヘッドセット９２０の電気的構成要素は、例えば、コンピュータプラットフォーム９１０を介してか、または様々な撮像デバイス、例えば、Ｃアーム撮像デバイス１０４、Ｉ／Ｏアーム撮像デバイス１０６、画像データベース９５０に、および／もしくは有線／無線インターフェース１４５２を介して他の医療機器に直接、動作可能に接続され得る。
外科手術システム２は、ＡＲヘッドセット９２０および／またはコンピュータプラットフォーム９１０に存在し得る少なくとも１つのＡＲヘッドセットコントローラ１４３０（簡潔にするために「ＡＲヘッドセットコントローラ」とも呼ばれる）を含む。ＡＲヘッドセットコントローラ１４３０は、解剖学的構造に対する外科的処置中にユーザにガイダンスを提供するナビゲーションコントローラ８２８からナビゲーション情報を受信するように構成されており、シースルー表示画面１４５０での表示のためにナビゲーション情報に基づいてＡＲ画像を生成するように構成されている。
シースルー表示画面（「表示画面」とも呼ばれる）１４５０は、着用者がシースルー表示画面１４５０を通して見ると物体が現実世界に表示されているように見えるような様式で、光学システムを通して物体を表示するように構成されている。光学システムは、着用者の目の前に直接配置されたヘッドバンド１３０６によって位置決めできる。様々な機能性が、ＡＲヘッドセット９２０、および／または有線ケーブルおよび／または無線通信リンクを介して接続された外部構成要素に存在することができるＡＲヘッドセットコントローラ１４３０によって実行されるソフトウェアによって提供される。
ＡＲヘッドセットコントローラ１４３０は、表示画面１４５０を視認する間、ユーザの頭またはユーザの体の他の箇所に着用されるように構成されたハウジング内にあり得るか、または表示画面１４５０に通信可能に接続されている間に表示画面を視認しているユーザから遠隔に位置し得る。ＡＲヘッドセットコントローラ１４３０は、カメラ１４４０、マイクロフォン１４２、および／またはポーズセンサ１４４６からの信号伝達を動作可能に処理するように構成でき、例えばディスプレイモジュール１４４８を介して、表示画面１４５０にＡＲ画像を表示するように接続されている。したがって、ＡＲヘッドセット９２０内のブロックとして例示されるＡＲヘッドセットコントローラ１４３０は、ＡＲヘッドセット９２０の他の例示される構成要素に動作可能に接続されているが、必ずしも共通のハウジング内に存在するか、またはユーザによって運搬可能であるとは限らないと理解されたい。例えば、ＡＲヘッドセットコントローラ１４３０は、コンピュータプラットフォーム９１０内に存在し得、コンピュータプラットフォーム９１０は、図３Ｂおよび図３Ｃに示されるコンピュータ追跡システム６’のハウジングとともに存在し得る。
ＡＲヘッドセットを介した例示的な着用者のビュー
図１５〜図２５は、本開示のいくつかの実施形態に従う、ＡＲヘッドセット９２０の表示画面１４５０を通して着用者に提供される例示的なビューを例示している。
手術室でＡＲヘッドセットを使用することの１つの潜在的な欠点は、明るい周囲照明が、表示される物体のコントラストを「ウォッシュアウト」または低下させる可能性があることである。これらの潜在的な欠点は、以下に記載されるいくつかの実施形態によって低減または排除でき、そこでは、表示画面１４５０が異なる光透過率（不透明性）の水平バンドを有するように構成されており、および／または変動するサイズの取り付け可能な構成要素が表示画面１４５０を通してのユーザのビューの不透明性を調整する。光学システムのこれらの暗くされたバンド（単数または複数）は、表示される物体のコントラストを増加させるように機能し、例えば、外科医が医療用放射線写真をより正確に視認できるようにすることができる。
例示的な一実施形態では、シースルー表示画面１４５０は、少なくとも２つの横方向に延在するバンドで構成されており、少なくとも２つの横方向に延在するバンドのうちの上側のものは、ユーザが視認するために、通過する入射周囲光を抑制する、少なくとも２つの横方向に延在するバンドのうちの下側のものよりも低い、例えば、より暗い光透過率（より大きい不透明性）を有する。少なくとも１つのＡＲヘッドセットコントローラ１４３０は、少なくとも２つの横方向に延在するバンドのうちの上側のものに二次元画像を表示するように、かつ少なくとも１つのナビゲーションコントローラ１４３０によって提供される解剖学的構造の三次元モデルを表示するように構成できる。
ＡＲヘッドセットのユーザインターフェースは、現在のナビゲーション技術の制限に対処する情報特徴の無菌ソフトウェア制御および卓越した表示をさらに可能にする。これに加えて、以下に記載されるように、着用者が手、手術器具、および／または他の物体を使用してナビゲーション要素と仮想的にインタラクトできるようにする操作機能性が提供される。
ＡＲヘッドセットの動作により、２Ｄ画像と３Ｄモデルとの両方を異なるバンドで表示できる。２Ｄ画像は、好ましくは、より不透明なバンド（表示画面光学系の上側のバンド）に表示され得、３Ｄモデルは、より好ましくは、環境領域として別途知られる、より透明なバンド（表示画面光学系の最下のバンド）に表示され得る。表示画面の光学系が終了するこのバンドの下方には、着用者の患者のビューを遮るものがない。この別個のバンドは流体であることに留意されたい。コンテンツに対するヘッドセットの位置によっては、３Ｄコンテンツが不透明なバンドに移動する可能性があり、２Ｄコンテンツを透明なバンドに配置して、現実世界に安定させることができる。これに加えて、表示画面の光学系全体を、ヘッドセットを手術計画のための仮想現実に変換するために暗くすることができるか、または手術中に完全に透明にすることができる。制御のうちのいずれも、着用者の好みに応じた、バンドのうちの任意のもので得ることができる。
図１５は、破線１５００に沿って分割された、表示画面１４５０を横方向にわたって延在する２つのバンドを例示している。図１５にシェーディングによって例示されていないが、少なくとも２つの横方向に延在するバンドのうちの上側のものは、ユーザが視認するために通過する入射周囲光の量を低減するために、少なくとも２つの横方向に延在するバンドのうちの下側のものよりも低い光透過率（例えば、より暗いシェーディング）を有することを理解されたい。少なくとも１つのＡＲヘッドセットコントローラ１４３０は、少なくとも２つの横方向に延在するバンドのうちの上側のもの内の画面領域１５１０および１５１２に複数の二次元画像を表示している。少なくとも１つのＡＲヘッドセットコントローラ１４３０はまた、少なくとも２つの横方向に延在するバンドのうちの下側のものにおける別の画面領域１５２０に解剖学的構造の三次元モデルを表示しており、外科的処置で使用される計画されたインプラントの特性を識別するインプラント情報１５３０を表示している。表示されたインプラント情報１５３０は、５．５ｍｍの直径および４３ｍｍの長さを有するＣＥＯスレッドスクリュー（ＣＥＯ ｔｈｒｅａｄｅｄ ｓｃｒｅｗ）が脊椎の場所Ｌ２−Ｌに埋め込まれる予定であることを識別する。
図１６〜図１９は、着用者がＡＲヘッドセット９２０の表示画面１４５０に表示される様々な物体とインタラクトするための例示的な動作を例示している。
ＡＲヘッドセット９２０は、着用者が外科手術システム２のソフトウェア機能性と自然かつ無菌的にインタラクトできるようにするハンド追跡を提供するように構成できる。これらの動作は、ＡＲヘッドセット９２０のカメラ（単数または複数）１４４０からのビデオストリームの処理を介して提供され得る。ＡＲヘッドセットコントローラ１４３０は、つまむ、押す、手信号、事前定義された動作（手で弾く）を含むがこれらに限定されない、複数の異なるハンドベースジェスチャを識別して応答するように構成できる。
着用者は、異なるメニューおよびサブメニューにアクセスし、メニュー選択、メニュー操作／再配置、画像操作／再配置、仮想投影操作／再配置などの特定の機能を実行することができる。例示的な認識可能なハンドジェスチャは、ピンチングであり得、これは、親指および人差し指を、他の３本の指を上げながら形成できる（図１６に示す）。特定のハンドジェスチャを指定することにより、特にユーザがカメラ（単数または複数）１４４０の視野に時折手を置く必要がある手術室では、ジェスチャ認識機能を有するソフトウェアとインタラクトするときに、誤検知の可能性が低減される。ハンドジェスチャは、片手または両手で実行できる。手追跡機能は、手の上に異なるハンドモデル（手袋、メッシュ、球棒モデル）を追加することによって、外科医に表示され得る。
一実施形態では、カメラ（単数または複数）１４４０を含むことができるジェスチャセンサ１４４４は、ユーザによって形成されたハンドジェスチャの表示をＡＲヘッドセットコントローラ１４３０に出力するように構成されている。ＡＲヘッドセットコントローラ１４３０は、ハンドジェスチャの認識に応答して、表示画面１４５０に表示されるグラフィック物体を制御するように構成されている。
上記で説明したように、ジェスチャセンサ１４４４は、カメラ（単数または複数）１４４０の視野内でＡＲヘッドセット９２０の前に配置されている間にユーザの手のビデオストリームを出力するために、ユーザから離れるほうを向くように装着されたカメラ（単数または複数）１４４０を含むことができる。ＡＲヘッドセットコントローラ１４３０は、異なる認識可能なハンドジェスチャを、表示画面１４５０に表示されるグラフィック物体を制御する複数の動作のうちの異なるものに関連付けるように構成できる。複数の動作は、次のもの、すなわち、表示画面上に表示されるメニュー項目１５３０を、次に表示画面上に表示されるサブメニュー項目のリストに展開するためのユーザコマンドと、表示画面上に表示されるメニュー項目および／または複数のサブメニュー項目のうちの１つを選択するためのユーザコマンドと、表示画面上に表示されるグラフィック物体のうちの１つのサイズ、場所、および／または向きを動作可能に制御するためのユーザコマンドと、のうちの少なくとも１つを含み得る。
ＡＲヘッドセットコントローラ１４３０は、カメラからのビデオストリームで識別されたユーザの手の現在のポーズを追跡するために動的に更新されるポーズで、コンピュータで生成されたハンドモデルを表示画面上に表示するように構成できる。
さらなる実施形態では、ＡＲヘッドセットコントローラ１４３０は、認識可能なハンドジェスチャを、解剖学的構造への移植に使用できる外科手術インプラントのセットの中から外科手術インプラントを選択するためのコマンドに関連付するように、かつ表示画面１４５０上で選択された外科手術インプラントのグラフィック表現を表示するように構成されている。別の実施形態では、ＡＲヘッドセットコントローラ１４３０は、異なる認識可能なハンドジェスチャを、外科手術システムによる複数の動作のうちの異なるものに関連付けるように構成されており、ここで、複数の動作作は、次のもの、すなわち、撮像システムによって解剖学的構造の撮像を制御するためのコマンドと、解剖学的構造の複数の画像のいずれを表示画面上に表示するかを制御するためのコマンドと、解剖学的構造に対する外科手術ロボットのロボットアームの移動を制御するためのコマンドと、のうちの少なくとも１つを含む。
図１６では、ＡＲヘッドセットコントローラ１４３０は、画面領域１６２０、１６３０、および１６４０に複数の画像を表示している。画面領域１６２０では、ＡＲヘッドセットコントローラ１４３０は、現実世界物体１６１０のビデオ上にグラフィックオーバーレイとして表示されるピンチジェスチャを形成するユーザの手の、コンピュータで生成されたハンドモデル１６２２、例えば、テーブル上に存在し、かつカメラ（単数または複数）１４４０が視認した解剖学的構造をレンダリングしている。認識されたペンション（ｐｅｎｓｉｏｎ）ジェスチャを使用して、画面領域１６２０、１６３０、および１６４０の制御場所、サイズ、および／または他の特性の下で、ナビゲーションバー１６００に沿ったユーザ選択可能な印表示の中から選択し得る。
通常、外科医は、また、患者の視覚化を改善するために、外科手術ヘッドライトが取り付けられたヘルメットを着用する。一変形形態では、ヘッドライトは、ＡＲヘッドセット９２０の一部であり得るか、またはＡＲヘッドセット９２０に接続できる。ＡＲヘッドセット９２０は、外部制御を介して、またはジェスチャベースのコマンド認識および／またはボイスベースのコマンド認識を含むＡＲ制御を介して、光の輝度設定を制御するように構成され得る。
ＡＲヘッドセット着用者は、ＡＲヘッドセットコントローラ１４３０によって識別可能であるジェスチャベースのコマンドおよび／またはボイスベースのコマンドを使用して、手術道具および／またはインプラントデバイスの特性を変更し得る。例えば、外科医は、「ねじの長さを６．５に変更する」と言って、表示画面１４５０に表示されるねじの長さを変更して、要求されたねじの長さに対応するサイズ、形状、および／またはポーズを示し得る。
拡張ナビゲーション動作
ＡＲヘッドセットのユーザインターフェースは、現在のナビゲーション技術の制限に対処する情報特徴の無菌ソフトウェア制御および卓越した表示をさらに可能にする。これに加えて、以下に記載されるように、着用者が手および手術器具を使用してナビゲーション要素と仮想的にインタラクトできるようにする操作機能性が提供される。
図１７は、着用者に表示画面１４３０を通して見え得るものを示している。下側のバンドよりも不透明になる可能性がある上側のバンドでは、ソフトウェアは、ナビゲーション用の画像を表示し、標準は、脊椎ナビゲーション用の体軸ビューおよび矢状ビューであるが、冠状面（図１６に描示されている）などの任意の複数の２Ｄ平面を示すことができる。これらの画像は、関節形成術などの異なる手順のニーズに基づいて修正されることが可能である。画像は、ハンドジェスチャを使用することによって、拡大およびパンできる。ハンドジェスチャにより、表示されたドロップダウンリスト１７１０を介して追加のビューにアクセスすることができる。着用者は、リスト１７１０の中からデジタルルーペビューならびに画像ギャラリーを選択することができる。このギャラリーでは、着用者は、画像を視認し、患者と関連付けられた画像を操作することができる。ＭＲＩ／ＣＴスキャンなどの三次元（３Ｄ）画像の場合、着用者は、ハンドジェスチャを使用してスライスをスクロールすることができる。二次元（２Ｄ）タブを選択することによって、２Ｄ画像が、表れる／消える。３Ｄタブを選択することによって、３Ｄ再構成モデルが表れる／消える。
図１７の例では、コントローラ１４３０は、画面領域１７００、１７０２、および１７０４に複数の画像を表示している。ユーザは、ピンチジェスチャを使用して、表示画面１４５０に表示されている複数の多数の項目１７１０（標準、冠状、ルーペ、およびギャラリーを含む利用可能な画像ビューのリスト）の中からメニュー項目（例えば、冠状画像ビュー）を選択しようとしている。
図１８を参照すると、ＡＲヘッドセット動作はまた、着用者が、ウィンドウ／レベルおよびスライスタイプ（向き）などの表示領域１８００内の画像特性を修正できるようにする。着用者は、図１８の例示的なビューに例示されている選択可能な設定印１８１０を介してこれらの修正を実行することができる。
図１９を参照すると、３Ｄが有効にされると、（撮像スキャンに基づいて）脊椎の３Ｄグラフィック表現が得られ、患者の上方の表示画面１４５０に表示される。このグラフィック表現は、ＡＲヘッドセットコントローラ１４３０によって、患者の実際の生体構造と同じサイズとなるように、かつおよび同じポーズを有するように構成され得るか、または視覚化を強化するために、２：１など、より大規模に構成され得る。グラフィック表現は、特定のナビゲートされる参照アレイ、この場合は患者の参照アレイに基づいて決定された場所に固定され得る。この固定、または世界／環境の安定化は、インサイドインとアウトサイドインとの両方の追跡を組み合わせて実行され得る。
ＡＲヘッドセット９２０のＩＭＵ１４４６は、ＡＲヘッドセット９２０の相対的な向きを測定するように構成できる（インサイドアウト追跡）。カメラ追跡システム６のナビゲーションカメラ４６を使用して、ＡＲヘッドセット９２０上の参照アレイを追跡して、ポーズ、位置、および角度の向きを測定することができる（アウトサイドイン追跡）。このデータを使用して、着用者の頭が動く際にディスプレイの３Ｄグラフィック表現の投影を更新し、グラフィック表現が静止したままであるという知覚を着用者に提供することができる。このタイプの効果は、同時ローカリゼーションおよびマッピング（ＳＬＡＭ）技術によっても達成できる。
一実施形態では、複数のカメラ１４４０は、間隔を置いて配置され、ユーザから離れるほうを向くように装着されている。追跡システム８３０は、複数のカメラ１４４０からのビデオストリームを処理するように動作可能に接続されており、解剖学的構造のポーズとエンドエフェクタおよび／または手術道具のポーズとを決定するように構成されている。追跡システム８３０は、複数のカメラ１４４０からのビデオストリームを処理して、解剖学的構造に接続された参照アレイのポーズとエンドエフェクタおよび／または手術道具に接続された参照アレイのポーズとを決定するようにさらに構成できる。
さらに別の実施形態では、追跡システム８３０は、追跡カメラ（単数または複数）、例えば図３Ａの４６および図８のＤＲＡ追跡カメラ８７０からのビデオストリームを処理して、ＡＲヘッドセット９２０に接続された参照アレイのポーズを決定する。ＡＲヘッドセットコントローラ１４３０は、解剖学的構造に接続された参照アレイのポーズとＡＲヘッドセットに接続された参照アレイのポーズとに基づいて、表示画面１４５０に表示される解剖学的構造の三次元モデルのポーズおよびスケールを制御するように構成できる。ＡＲヘッドセット９２０のポーズセンサ１４４６は、ＡＲヘッドセット９２０の感知されたポーズを出力するように構成でき、ＡＲヘッドセットコントローラ１４３０は、ポーズセンサ１４４６に動作可能に接続でき、解剖学的構造に接続された参照アレイのポーズとＡＲヘッドセット９２０の感知されたポーズとに基づいて、表示画面１４５０に表示される解剖学的構造の三次元モデルのポーズを制御するようにさらに構成できる。
これにより、着用者の頭を移動させて、生体構造の異なる視点を見ることができるようになる。アンカーに対するグラフィック表現の場所および向きを、着用者の好みに応じて移動させることができ、患者の生体構造の上に重ねることさえできる。これに加えて、この特定の例では、グラフィック表現は、固体表面であるとして例示され、表面の強化された視覚化を提示する。異なる変形例では、グラフィック表現は、解剖学的構造、例えば骨の内部の視覚化を可能にするメッシュであり得る。この３Ｄグラフィック表現は、最終的に、着用者が３Ｄ解剖学的構造を心的に視覚化しようとする負担をかける２Ｄ画像に代えて、より直感的なナビゲーション設定を着用者に提供する。
図２０を参照すると、手術道具２００２が、追跡される解剖学的構造の近傍に、かつ手術道具２００２に接続された参照アレイ２０３０および２０３２を追跡するカメラ１４４０（図１４）および４６（図６）の視野内にもたらされると、道具のグラフィック表現２０００は、解剖学的構造のグラフィック表現２０１０に関連して２Ｄおよび／または３Ｄ画像で表示できる。着用者は、視認されたグラフィック表現を使用して、道具のグラフィック表現２０００から解剖学的構造のグラフィック表現２０１０を通って延在するものとして例示できる軌跡２０２０を調整することができる。この動作は、器具上の表示されたコマンド、または制御コマンド、例えばボタンを介して実行され得る。これは、患者とのインターフェースとなる器具、または３Ｄモデル自体とのインターフェースとなる器具を使用して実行できることに留意されたい。
スクリューの軌跡が設定されると、スクリューの軌跡の寸法（長さ、幅）、向き、および深さは、図２０および図２１に示されるピンチジェスチャなどのハンドジェスチャを使用して修正できる。図２２に示されるように、軌跡は、２Ｄ画像でも調整できる。例えば、図２２では、着用者は、より小さいサイズのタイプ（例えば、より小さい直径および／または長さ）のスクリューを選択するためのコマンドとして解釈されるハンドジェスチャ、例えばピンチを形成しており、このハンドジェスチャは、その後、医療画像２２００上にオーバーレイとして示される、および／または別のグラフィック領域２２０２に表示されるスクリューのグラフィック表現２２１０について更新される。これらの例では、スクリューがインプラントとして使用されているが、インプラントは、これに代えて、限定されないが、スペーサ、ロッド、およびプロテーゼを含むことができることに留意されたい。
図２３を参照すると、軌跡が設定されると、別のナビゲートされる道具２３００が道具２００２（物体２０００として例示されている）の計画された軌跡２０２０の近傍に来たときに、着用者が道具２３００を同じ軌跡２０２０に配置するのに役立つように、拡張された軌跡ガイダンスインターフェースが表示される。図２３の特定の例では、外側の円２３０２が内側の円２３０４と位置整合するまで、器具２３００をどの方向に移動させるかを指示するグラフィックインジケータ２３０６が表れる。これらの円２３０２および２３０４が位置整合すると、着用者を、円２３０２および２３０４が位置整合される（例えば、同心になる）、したがって、目標深さに到達したことを示すまで、器具２３００を患者の中に押し下げるように指示することができる。この軌跡ガイダンスには、所望の軌跡および色のグラデーションのほうを指し示す矢印を含むがこれらに限定されない、他の可能なアプローチがある。インプラントが配置されると、着用者は、手術手順の次のステップを選択および移動することができる。
図２４を参照すると、システム操作機能性により、複数のＡＲヘッドセットを、コラボレーションモード、ティーチングモード、および独立モードのうちの任意の１つ以上を含む、定義された組み合わせ動作モードで使用できるようにすることができる。コラボレーションモードでは、第２のＡＲヘッドセットを装着している二次着用者は、第２のＡＲヘッドセットを介して一次着用者が装着している第１のＡＲヘッドセットのディスプレイインターフェースを制御するためのインターフェースとなる能力を有する。図２４に示されるように、二次着用者には、同じ３Ｄモデルと、一次着用者によって２番目の環境に安定化された関連制御と、が見え、唯一の違いは、コンテンツが反転して自分の視点から判読できることである。二次着用者は、前述したようにすべての軌跡修正アクションを実行することができ、これにより、第１のＡＲヘッドセットを介して一次着用者のビューが更新されることとなる。ティーチングモードでは、第１の着用者は、第１のＡＲヘッドセットを介して第２のＡＲヘッドセットに提供される自分のビューを、第２のＡＲヘッドセットが二次着用者の視点からの、またはその逆の画像／スキャンを表示できるようにするなど、二次ユーザが視認するために変更することができる。独立モードでは、第１のＡＲヘッドセットおよび第２のＡＲヘッドセットによって提供されるビューは、互いに独立して制御され、これにより、２人の着用者が、同時に独立したナビゲーションを実行できるようになる。
例えば、一実施形態では、外科手術システム２は、第１のＡＲヘッドセットおよび第２のＡＲヘッドセットを含む。少なくとも１つのＡＲヘッドセットコントローラ（そのうちの１つは、第１のＡＲヘッドセットに存在し得るか、または接続され得る）は、第１のＡＲヘッドセットのカメラから第１のビデオストリームを受信するように動作可能に接続されており、第１のＡＲヘッドセットを着用しているユーザから得られた電子コマンドに応答して、第１のビデオストリームを、第１のＡＲヘッドセットのディスプレイデバイスおよび／または第２のＡＲヘッドセットのディスプレイデバイスに選択的にルーティングするように構成されている。少なくとも１つのＡＲヘッドセットコントローラ（そのうちの１つは、第２のＡＲヘッドセットに存在し得るか、または接続され得る）は、第２のＡＲヘッドセットのカメラから第２のビデオストリームを受信するように動作可能に接続されており、第２のＡＲヘッドセットを着用しているユーザから得られた電子コマンドに応答して、第２のビデオストリームを、第１のＡＲヘッドセットのディスプレイデバイスおよび／または第２のＡＲヘッドセットのディスプレイデバイスに選択的にルーティングするように構成されている。
図２５を参照すると、少なくとも１つのＡＲヘッドセットコントローラは、自分の視野内の着用者に通知および警告を表示するように構成できる。そのような警告は、例えば、患者の参照アレイが移動したこと、ナビゲーションの完全性が失われたこと、１つ以上の参照アレイが見えないこと、ロボット衝突の可能性が予測されることなどを通知することができる。これらの通知は、または、ＡＲヘッドセット９２０を介して提供されるユーザインターフェースの動作に影響を与えるか、または与えずに、表示画面１４５０に表示され得る。
上記で説明したように、ＡＲヘッドセット９２０および関連付けられた動作は、ナビゲートされる処置をサポートするだけでなく、また、ロボットにより支援される処置と組み合わせて実行できる。後者の場合、術前計画は、コンピュータプラットフォーム９１０からロードされる。ソフトウェアは、計画されたインプラントを使用して、計画全体を３Ｄで着用者に示す。着用者は、スクリューを選択するか、または手術計画の調整を提供することができる。計画が完成すると、着用者は、ＡＲインターフェース、フットペダル、または他の制御を介して、ロボットを計画された軌跡上に移動させて、追加の道具の配置を誘導する。
ＡＲヘッドセットを使用した手術道具のナビゲーション動作
次に、図２６〜図３１の例示的な実施形態を参照して、医療処置中に手術道具のためにＡＲヘッドセットを介してナビゲーション支援を提供するための外科手術システム２によって実行され得る様々な動作が記載される。
いくつかの実施形態は、ＡＲヘッドセット着用者が、アイアンサイトとも呼ばれるＡＲオーバーレイされた３Ｄナビゲーション物体を使用して、参照空間内の目標ベクトル場所に手術道具を正確にナビゲートできるようにし得る。オーバーレイされた３Ｄナビゲーション物体は、増幅された視覚的フィードバックを提供して、着用者が、操作可能なナビゲーション軌跡に対して道具の深さ、角度、および先端位置を補正できるようにすることができる。
外科医は、例えば、コンピュータプラットフォーム９１０の外科的処置計画機能を介して、患者の解剖学的画像上の特定のベクトル位置を定義する軌跡を計画することができる。画像は、ベクトルの位置を引き継ぐ患者の静止した参照アレイにローカライズされる。患者の静止した参照アレイは、カメラによって追跡され、手術道具に接続された別の追跡されるアレイと比較される。
図２６〜図２８は、ＡＲヘッドセットの表示画面上に表示されて、手術道具を位置決めするためのナビゲーション支援を提供することができるグラフィック物体を例示している。グラフィック物体として、手術道具の計画されたポーズと現在のポーズ（例えば、位置および角度の方向）との対比を示す、相対位置に表示される、長尺の物体、線、円、テキスト、および他の印が挙げられる。様々な実施形態は、解剖学的構造上の計画された場所に対するユーザの手術道具の位置決めを誘導し、計画された軌跡に沿った手術道具のユーザの動きを誘導することができる。
図２６に示されるように、現在の道具位置の描示は、軌跡に関して計画位置と適切に位置整合しておらず、その結果、道具の遠位端が、計画位置に基づく軌跡から外れている。画像の右側にある円は、以下の表示を提供する。小さい円２６００は、計画された道具先端位置を示し、全体的な道具軌跡と道具の遠位端の位置とを示す中ぐらいの大きさの円２６０４によって囲まれている。右側の円２６０２は、道具の現在の位置を示し、これは、道具の遠位端が軸から外れているか、または軌跡から外れている間、道具の近位端が計画位置に近接していることを示す。
ＡＲヘッドセットコントローラ１４３０による対応する動作は、手術道具の目標ポーズのグラフィック表現を表示画面１４５０に表示し、かつ手術道具のポーズのグラフィック表現を表示画面１４５０に表示することを含むことができる。ＡＲヘッドセットコントローラ１４３０は、手術道具の目標ポーズの計画された軌跡が解剖学的構造上の目標場所と交差する場所と、手術道具のポーズの軌跡が解剖学的構造上の目標場所と交差する場所と、の間の軌跡オフセット距離を決定するように構成できる。
ＡＲヘッドセットコントローラ１４３０は、手術道具の目標ポーズと手術道具のポーズとのグラフィック表現の各々を、各々が両端間に延在する主軸を有する長尺の物体２６１０および２６２０（例えば、長方形の線）として表示し、かつ軌跡オフセット距離に応答して長尺の物体の一端が表示画面上に表示される場所の間の間隔を制御するように構成できる。例えば、図２６に示されるように、物体２６１０は、手術道具の計画されたポーズを示すことができ、物体２６２０は、手術道具の現在のポーズを示すことができる。
一実施形態では、ＡＲヘッドセットコントローラ１４３０は、手術道具の目標ポーズの計画された軌跡と手術道具のポーズの軌跡との間の角度に応答して、表示画面上に表示される長尺の物体２６１０および２６２０間の傾斜角度を制御するように構成されている。
別の実施形態では、ＡＲヘッドセットコントローラ１４３０は、手術道具の目標ポーズと手術道具のポーズとのグラフィック表現の各々を円形物体２６０２〜２６０４として表示し、かつ軌跡オフセット距離に応答して表示画面上に表示される円形物体の中心間の間隔を制御するように構成されている。
別の実施形態では、ＡＲヘッドセットコントローラ１４３０は、手術道具の目標ポーズと、手術道具の先端から解剖学的構造上の目標場所までのオフセットを示す距離だけ離間して配置された物体としての手術道具のポーズと、のグラフィック表現を表示するように構成されている。
図２７は、手術道具の計画された場所と現在の場所との近位先端が重なる一方、手術道具の現在のポーズ２６２０が、計画されたポーズ２６１０に対して傾斜していることを例示している。
着用者は、視覚的なナビゲーション情報を使用して、道具を計画されたポーズに向けて移動させ、現在のポーズが計画されたポーズに向けて収束するにつれて、収束が、表示された円を互いに同心になるように収束させる。図２８に示されるように、円が重なるにつれて、円は、それに応じてより塗りつぶされる。図２８は、手術道具の計画された場所と現在の場所とのの近位先端が重なることと、手術道具の現在のポーズが計画されたポーズと一致し、その結果、手術道具の現在のポーズが計画されたポーズと正確に位置整合することと、をさらに例示している。
いくつかの追加的または代替的な実施形態では、ＡＲヘッドセットコントローラ１４３０は、手術道具の目標ポーズと、三次元空間を表す３つの直交軸に対する手術道具のポーズと、のグラフィック表現を表示するように構成されている。ＡＲヘッドセットコントローラ１４３０は、手術道具の先端と解剖学的構造上の目標場所との間の深さオフセット距離に応答して、３つの直交軸のうちの第１の軸に沿ってグラフィック表現が表示される場所の間の間隔を制御する。ＡＲヘッドセットコントローラ１４３０はまた、手術道具の目標ポーズの計画された軌跡が解剖学的構造上の目標場所と交差する場所と、手術道具のポーズの軌跡が解剖学的構造上の目標場所と交差する場所と、の間の軌跡オフセット距離に応答して、３つの直交軸のうちの第２の軸および第３の軸によって形成される平面に沿ってグラフィック表現が表示される場所の間の間隔を制御する。
この実施形態は、一般的な空間データに加えて、手術道具の深さ追跡を含むために、参照アレイを追跡するカメラ（単数または複数）からのより多くのデータを使用する。これにより、手術道具を外科的処置のための計画されたポーズに移動させる際に、より正確なナビゲーションを着用者に提供することができるようになる。動作の例示的なフローは、１つ以上のカメラから位置および角度データを取得することと、表示画面１４５０を通した表示のためにデータを投影することと、を含むことができる。図２９の例示された例では、計画された道具軌跡線２９００が、３つの深さ円２９１０、２９１２、および２９１４とともに表示されている。深さ円２９１０は、手術道具２９３２の先端の現在の深さを示す深さ円２９１２に対する、および手術道具２９３２の先端の深さの計画された最大挿入深さを示す深さ円２９１４に対する、手術道具２９３２に接続された参照アレイ２９３０の現在の深さを示す。手術道具２９３２に取り付けられた参照アレイ２９３０と計画された道具軌跡線２９００との間のオフセットを示す、オフセット円２９２０および２９２２が表示されている。
例示されたナビゲーション動作の目的は、着用者が道具を計画軌跡２９００により正確に整列させることができるように、深さ、角度、および道具先端位置補正を視覚的に増幅し、次いで、道具を解剖学的構造内の計画された最大挿入深さまで下方にナビゲートすることである。表示されたオフセット円２９２０および２９２２は、道具が移動して計画された軌跡２９００に近づくにつれて、軌跡２９００に対する道具先端と道具の道具との間のオフセットが減少していることを示すように動的に修正される。道具が計画された軌跡２９００と十分に位置整合した後、着用者は、次いで、深さ円２９１２および２９１４が計画された最大挿入深さに収束するまで、道具を軌跡２９００に沿って下方に移動させる。
図３０は、解剖学的構造３０００、例えば脊椎椎骨のグラフィック表現と、計画された道具軌跡２９００に対する道具２９３２の現在の位置と、を例示している。また、図２９のオフセット円２９２０および２９２２と深さ円２９１２および２９１４とが図３０に例示されており、計画された道具軌跡２９００と位置整合するように道具２９３２を移動させるためのナビゲーションガイダンスを着用者に提供する。現在の道具先端位置は、計画された道具軌跡２９００と一致するように例示されており、すなわち、先端場所またはより下側の深さリングは、正しい位置にあるように見えるのに対して、上側のリングは、オフセットしているように示されている。
図３１は、着用者が、道具２９３２を計画された道具軌跡２９００と位置整合するように移動させて、図２９のオフセット円が同心になった後の、解剖学的構造３０００のグラフィック表現の後続のビューを例示している。次いで、外科医は、図２９の深さ円が位置整合するまで、計画された道具軌跡２９００に沿って道具２９３２を下向きに移動させることができる。
オフセット円および／または深さ円は、適切な位置決めで位置整合すると、色分けを使用して、例えば赤から緑に変化して、レンダリングされ得る。
ＡＲヘッドセット（単数または複数）を使用した医療デバイスのクロスプラットフォーム統合
様々なさらなる実施形態は、１つ以上のＡＲヘッドセットを使用して医療デバイスのクロスプラットフォーム統合を提供することを対象とする。これらの動作により、医療従事者が、所望の患者画像をキャプチャするために撮像システムをナビゲートするときなど、１つ以上の医療デバイスおよび手術室との特定のアクションを実行するためにＡＲヘッドセットを取り外す必要性を感じることが回避され得る。患者または画像システムインターフェースとインタラクトするためのＡＲヘッドセットのそのような断続的な取り外しは、無菌性の問題と、従事者がＡＲヘッドセットを再較正するための動作を実行している間などの、外科的処置段階間の大きな望ましくない中断と、を引き起こす可能性がある。
様々な実施形態は、外科的処置中に撮像システムおよび他の医療デバイスのユーザインターフェースをナビゲートするように構成されたＡＲヘッドセットを介して実行されるカスタムマッピングされた制御を使用する。例えば、着用者は、ハンドジェスチャコマンドおよび／またはボイスコマンドを使用してＡＲヘッドセットとインタラクトして、撮像システムの位置決めを制御し、撮像システム上での撮像ショットを計画し、撮像ショットを開始し、および／または１つ以上の医療インプラントおよび関連付けられた手術道具の軌跡を計画するための得られた撮像ショットを使用することができる。
様々な外科手術ロボットおよび撮像システムなどの様々な既知の医療デバイスは、外科的処置の計画中と外科的処置の実施実行中との操作のための物理的なユーザインターフェースのみを提供することが知られている。外科医がＡＲヘッドセットを装着しているとした場合、外科医は、手術室の様々な医療デバイスの物理的なユーザインターフェースに移動して自由に制御するために、ＡＲヘッドセットを取り外す必要があると感じ得る。
本明細書の様々な実施形態に従えば、ＡＲヘッドセットにより、着用者は、ハンドジェスチャコマンド、ボイスコマンド、および／またはＡＲヘッドセットによって感知され、および／またはＡＲヘッドセットに入力されることが可能である他のコマンドを介して、ＡＲヘッドセットに動作可能に接続された（有線／無線通信接続）医療デバイスの情報を入力でき、かつ動作を制御できるようになる。これにより、ＡＲヘッドセットは、着用者が、着用者の前で行われている外科手術に集中し、かつ外科手術ワークフローの無菌性および制御を維持することを可能にする。
一実施形態では、ＡＲヘッドセットは、撮像システムに動作可能に接続されており、ハンドジェスチャコマンド、ボイスコマンド、および／またはＡＲヘッドセットによって感知され、および／またはＡＲヘッドセットに入力される他のコマンドの識別に基づいて、撮像システムに情報および／またはコマンドを提供するように構成されている。撮像システムのナビゲーション制御は、ＡＲヘッドセットの仮想空間にマッピングできる。ＡＲヘッドセットを使用して、患者に対して所望の位置への撮像システムの移動を制御し、撮像ショット位置を調整し、撮像ショットのスキャン設定（例えば、患者情報、スキャンのタイプなどを選択し、表示画面１４５０に表示された仮装メニューおよび／またはボイスコマンドに対して実行されるハンドジェスチャを含むことができる仮装制御の使用を介して撮像ショットスピンを開始することができる。仮想制御を使用することによって、着用者の手と撮像システムとの間の物理的な接触が回避される。安全性を向上させるために、デッドマンスイッチ、例えば解放時に撮像システムの移動を防止するフェイルセーフスイッチを、ＡＲヘッドセットの着用者が使用するフットペダルの形態で含めることができる。
ＡＲヘッドセットは、着用者の前にある典型的な視野の邪魔にならないビューを提供するように構成でき、このビューは、識別されたジェスチャコマンド、ボイスコマンド、および／またはＡＲヘッドセットによって感知され、および／またはＡＲヘッドセットに入力される他のコマンド別のコマンドに応答してメニュー項目が開始されるまでクリアであることができる。Ｃアーム撮像デバイスが外科的処置のために複数の画像をキャプチャすると、画像を、画像データベース９５０に記憶することができる。各撮像システムに固有の手順の視点および他のビューは、計画された道具軌跡の精度を確保するための複数の方法、ならびに外科的処置中に使用するための正しい道具およびインプラントの選択を、着用者に提供する。
いくつかの他の実施形態では、ＡＲヘッドセットは、コンピュータプラットフォーム９１０から外科手術ロボット４への、２つの外科手術ロボット４間での、および／または外科手術ロボット４と他の医療デバイスとの間での、外科手術計画ワークフローおよび／または他の情報、例えば画像の転送を制御するように動作可能に接続されている。
一実施形態では、ＡＲヘッドセットは、１つ以上の撮像システム間、例えば、Ｃアーム撮像デバイス１０４および／またはＯアーム撮像デバイス１０６とコンピュータプラットフォーム９１０との間のクロスプラットフォーム統合を制御するように動作可能に接続されている。着用者は、ＡＲヘッドセットの仮想空間にマッピングされた制御メニューを操作して、撮像システムとコンピュータプラットフォーム９１０とを別々に制御できるようにすることができる。着用者は、ＡＲヘッドセットによって提供される制御メニューをナビゲートして、撮像システムによる撮像スピンを計画および実施し、次いで、得られた画像を使用して、コンピュータプラットフォーム９１０を介して軌跡計画および道具選択を迅速に行い得る。
さらなる実施形態では、ＡＲヘッドセット着用者の視線が手術ロボット４に向けられるようになると、今度は着用者がＡＲヘッドセットを介して手術ロボット４の様々な動作機能を制御するためのインターフェースとなることができることを示すグラフィックインジケータをオーバーレイとして表示することができる。
別のさらなる実施形態では、ＡＲヘッドセット着用者の視線が、例えば、脊椎位置整合手順に使用されるロッドベンダーデバイスに向けられるようになると、今度は着用者がＡＲヘッドセットを介して、得られた医用画像のうちの１つ以上に対するスクリュー配置の計画を介して生成されるコンピュータプラットフォーム９１０からの現在のデータに基づいてロッドインプラントを成形するなど、ロッドベンダーの様々な操作機能を制御するためのインターフェースとなることができることを示すグラフィックインジケータをオーバーレイとして表示することができる。
ＡＲヘッドセットを様々な医療デバイスと統合するこれらおよび他の関連したクロスプラットフォーム動作は、外科手術計画と実行手順との段階間の不要なダウンタイムを低減することができる。エリアプロセスおよびワークフローが様々なデバイス間で情報を送信できるようにすることによって、デバイスのうちの複数を、同じワークフローで同時に作動させることができる。これらの動作は、外科医が段階を順次移動して脊椎画像を得、脊椎画像を使用して脊椎内のスクリュー配置を計画し、脊椎に接続するためのロッドを成形する間に、手術室での外科手術中に発生する典型的な一時停止を回避することができる。
本実施形態による例示的なワークフローは、着用者が、ナビゲーションのためにＡＲヘッドセットを使用して、患者の画像スキャンを行うためにＣアーム撮像デバイス１０４を所定の位置に誘導することを含むことができる。所定の位置になると、着用者は、ＡＲヘッドセット表示画面１４５２を使用して、撮像スピンの操作上の好みを見つけ、かつ撮像スピンを実行することができる。撮像スピンは、着用者がコンピュータプラットフォーム９１０を介してスクリューの軌跡を計画するために使用する静止画像を生成する。スクリューの軌跡が計画されると、着用者は、脊椎へのスクリューの配置中にナビゲーションを受ける支援を得るために、外科的計画を外科手術ロボット４に転送する。同時に、軌跡計画が完了すると、着用者は、完成した軌跡計画を、脊椎矯正ロッドの屈曲を開始するロッドベンダーデバイスに送信することができる。ロッドベンダーデバイスが、完成した軌跡計画を使用して脊椎矯正ロッドを曲げている間、着用者は、ＡＲヘッドセットを使用して、外科手術ロボット４の動作を介してスクリューの配置を支援することができる。スクリューが正常に患者の脊椎に適正配置されると、着用者は、外科手術ロボット４とロッドベンダーデバイスとの間のクロスプラットフォーム統合から生成された脊椎矯正ロッドの仮想モデルを使用して、ロッド配置が実行される前にスクリューの軌跡に対するロッドの取り付けの精度を確保することができる。
したがって、いくつかのさらなる実施形態では、ＡＲヘッドセットコントローラは、定義されたハンドジェスチャのセットおよび／または定義されたボイスコマンドのセットを少なくとも１つの外部医療デバイスの制御コマンドのセットと関連付け、かつカメラのビデオストリームでの定義されたハンドジェスチャのうちの１つの発生、および／またはオーディオストリームでの定義されたボイスコマンドのうちの１つの発生を識別するように構成されている。ＡＲヘッドセットコントローラは、定義されたハンドジェスチャおよび／または定義されたボイスコマンドのうちの１つの識別された発生に応答して、制御コマンドのセットの中から制御コマンドを選択するように、かつ選択された制御コマンドを外部医療デバイスに伝達するように構成されている。
一実施形態では、外部医療デバイスの制御コマンドのセットは、撮像システムの移動のうちの少なくとも１つを制御し、かつ画像内の撮像システムによってキャプチャされる領域を調整し、かつ撮像システムによる画像のキャプチャを開始するコマンドを含む。
一実施形態では、外部医療デバイスの制御コマンドのセットは、脊椎矯正ロッドの軌跡計画のロッドベンダーデバイスへの転送のうちの少なくとも１つを制御して、ロッドベンダーデバイスによる脊椎矯正ロッドの曲げと、表示のためのロッドベンダーデバイスからＡＲヘッドセットへの操作ステータス情報の転送と、を開始するコマンドを含む。
不透明フィルタを有するＡＲヘッドセット
図３２は、ＡＲヘッドセット９２０の前部（例えば、ヘッドバンド）を横方向にわたり、かつ前部から下向きに延在する湾曲レンズ３２１０を有するＡＲヘッドセット９２０を例示している。図１３に示されるＡＲヘッドセット９２０とは対照的に、図３２のＡＲヘッドセット９２０は、本開示のいくつかの実施形態に従う、湾曲レンズ３２１０の表面上の横方向に延在するバンドとして構成された不透明フィルタ３２００をさらに含む。
図３２の実施形態では、湾曲レンズ３２１０は、ディスプレイパネルからユーザの目に向けて光を反射する、コンバイナとも呼ばれるシースルー表示画面として動作する。ディスプレイパネルを、電子構成要素エンクロージャとユーザの頭との間に位置させることができ、ユーザの目に向けた反射のために、湾曲レンズ３２１０に向けて仮想コンテンツを投影するように角度付けすることができる。コンバイナが、半透明および半反射であることにより、ユーザに、現実世界シーンのユーザのビューに重畳された反射された仮想コンテンツが見えるようになる。不透明フィルタ３２００の不透明性は、現実世界シーンからの光がユーザの目へと通過する量を制御する。不透明フィルタ３２００の高不透明性構成は、現実世界シーンの薄暗いビュー上にオーバーレイされた高コントラストの仮想画像をもたらす。不透明フィルタ３２００の低不透明性構成は、現実世界シーンのよりクリアなビュー上にオーバーレイされる、よりかすかな仮想画像をもたらすことができる。不透明フィルタは、レンズ３２１０の表面に不透明材料を適用することによるなどして、変化しない不透明性を提供し得、または以下でさらに詳述細に説明するように、電気的に制御可能な不透明性を提供し得る。
いくつかの実施形態によれば、外科手術システムは、ＡＲヘッドセット９２０およびＡＲヘッドセットコントローラ、例えば、図１４のコントローラ１４３０または図３４のコントローラ３４１０を含む。ＡＲヘッドセット９２０は、外科手術中にユーザが着用するように構成されており、ＡＲ画像を表示するように、かつ現実世界シーンの少なくとも一部分がユーザによる視認のために通過できるように構成されたシースルー表示画面３２１０を有する。ＡＲヘッドセット９２０はまた、ユーザがシースルー表示画面３２１０を視認するときに、ユーザの目のうちの少なくとも１つと現実世界シーンとの間に配置される不透明フィルタを含む。不透明フィルタは、現実世界シーンからの光に対する不透明性を提供するように構成されている。ＡＲヘッドセットコントローラは、ナビゲーションコントローラ、例えば、図１４のコントローラ（単数または複数）８２８Ａ、８２８Ｂ、および／または８２８Ｃと通信して、解剖学的構造に対する外科的処置中にユーザにガイダンスを提供するナビゲーションコントローラからナビゲーション情報を受信するように構成されており、シースルー表示画面３２１０に表示するためのナビゲーション情報に基づいてＡＲ画像を生成するようにさらに構成されている。
さらなる実施形態では、シースルー表示画面３２１０は、ＡＲヘッドセット９２０の前部の横方向にわたり、かつ前部から下向きに延在する湾曲レンズを含み、不透明フィルタは、湾曲レンズの表面上にある。別の実施形態では、不透明フィルタは、少なくとも２つの横方向に延在するバンドとして構成されており、少なくとも２つの横方向に延在するバンドのうちの上側のものが、少なくとも２つの横方向に延在するバンドのうちの下側のものよりも低い光透過率を有する。
別の実施形態では、不透明フィルタは、湾曲レンズ３２１０（シースルー表示画面）の上部から下向きの距離でより連続的に変化する不透明性を有する勾配として構成されている。勾配の最も暗い点は、湾曲レンズ３２１０の上部に位置することができ、不透明フィルタが透明になるか、または湾曲レンズ３２１０上に存在しなくなるまで、シースルー湾曲レンズ３２１０上でさらに下方へと徐々に不透明性が低くなる。例示的なさらなる実施形態では、勾配は、湾曲レンズ３２１０のほぼ目の中央のレベルで、約９０％の不透明性から完全に透明に変化することができる。ヘッドセットが適切に調整および配置されている場合、目の中央のレベルは、ユーザが真っ直ぐに見るポイントに対応し、勾配の端部は、目の「水平」線に位置する。勾配の暗い部分は、仮想コンテンツの鮮明でクリアなビジュアルを可能にし、頭上の手術室ライトの邪魔な輝度を遮断するのに役立つ。
このように不透明フィルタを使用することにより、ＡＲヘッドセット９２０は、湾曲レンズ３２１０の上部に沿って現実世界シーンからの光を実質的または完全に遮断することによって仮想現実（ＶＲ）能力を提供し、かつ湾曲レンズ３２１０の中央または下部に沿ってＡＲ能力を提供することが可能になる。これにより、ユーザは、必要に応じてＡＲを半透明にできるようになり、処置中における患者の生体構造のクリアな光学系が可能になる。不透明フィルタ３２００を、より一定の不透明性バンドに代えて勾配として構成することにより、着用者は、現実世界シーンの輝度と、上向きのビューと下向きのビューとの間のより急速なシフト中などに、なければ目を緊張させ得る被写界深度と、の急峻な変化を経験することなく、よりＶＲタイプのビューからよりＡＲタイプのビューへのより自然な遷移を体験できるようになる。
ディスプレイパネルおよび湾曲レンズ３２１０は、広視野のシースルーＡＲディスプレイシステムを提供するように構成できる。例示的な一構成では、ディスプレイパネルおよび湾曲レンズ３２１０は、ユーザが仮想コンテンツを視認するための５５°の垂直範囲を備えた８０°の対角視野（ＦＯＶ）を提供する。他の対角ＦＯＶ角度および垂直カバレッジ角度は、異なるサイズのディスプレイパネル、異なる曲率レンズ、および／またはディスプレイパネルとレンズとの間の異なる距離および角度の向きを介して提供できる。
上記で説明したように、不透明フィルタは、ヘッドセットを通して視認される現実世界シーンの不透明性を変動させるように動作する。一実施形態では、不透明フィルタおよびレンズは、（ａ）現実世界シーンが著しく暗くなり、ＡＲ画像（仮想コンテンツ）が、例えばＶＲ表示のように、高コントラストおよび視認の明瞭さを有して表示される高不透明性の上部レンズ領域、（ｂ）上部レンズ領域より不透明性が低く、より伝統的なＡＲが提供される中間レンズ領域、および（ｃ）ユーザが、現実世界シーンのＩ００％の遮るもののないビューを取得するために下方を見ることができるようにレンズが終了する前の下部領域、などの３つの異なる不透明性ビューを提供するように構成されている。
したがって、高不透明性、例えば、８０％以上の不透明性の、例えば水平よりも上の、上部レンズ領域は、ＡＲ画像の表示のために、および現実世界の視覚的明瞭さがそれほど重要でない場合に、高コントラストを提供する。より低い不透明性、例えば５０％以下の不透明性の、例えば水平より低い、中間レンズ領域は、現実世界シーンにオーバーレイされたＡＲ画像の同時視認のために、より低いコントラストを提供する。例えば水平よりも３０度下方の、レンズが終了する下部領域は、ユーザに現実世界シーンの遮るもののないビューを提供する。
いくつかのさらなる実施形態は、異なるタイプのＡＲ画像を表示するためのシースルー表示画面の複数の異なる領域の中から、該タイプのＡＲ画像の特性と、シースルー表示画面の異なる領域と整列された不透明フィルタの領域の不透明性のレベルと、に基づいて選択するように構成されたＡＲヘッドセットコントローラを対象とする。例えば、より重要であるＡＲ画像（仮想コンテンツ）を、高不透明性の上部レンズ領域内などの、水平よりも上方に表示して、明るい手術室照明などにかかわらず、このＡＲ画像が明瞭に視認できることを確保することができる。不透明フィルタのより高い不透明性領域内に重要なＡＲ画像を表示することは、外科手術中にその視認領域内で最小限の物理的世界のインタラクションが起こるため、有利であり得る。表示のために構成できるか、または不透明フィルタのより高い不透明性の領域での表示のためにＡＲヘッドセットコントローラによって選択できるＡＲ画像（仮想コンテンツ）のいくつかの例として、限定されないが、以下のもののうちの任意の１つ以上が挙げられる。
１）患者の生体構造の２Ｄの体軸ビュー、矢状ビュー、および／または冠状ビュー、
２）計画された道具と現在追跡されている道具との対比と、外科手術インプラント場所と、のオーバーレイ、
３）術前画像のギャラリー、
４）顕微鏡および他の同様のシステム、またはリモートビデオ会議からのビデオフィード、および、
５）オプションならびに構成の設定およびボタン。
上部レンズ領域よりも低い不透明性を有する中央レンズ領域は、ＡＲコンテンツを表示するためのより伝統的なＡＲ領域を提供することができる。表示のために構成できるか、または不透明フィルタの中央レンズ領域での表示のためにＡＲヘッドセットコントローラによって選択できるＡＲ画像（仮想コンテンツ）のいくつかの例として、限定されないが、以下のもののうちの任意の１つ以上が挙げられる。
１）手術計画情報を有する患者の生体構造の浮遊３Ｄモデル、
２）浮遊する患者の生体構造に関連する手術器具のリアルタイム追跡、
３）指示およびガイダンスを有する患者の生体構造の拡張オーバーレイ、および、
４）手術器具の拡張オーバーレイ。
ＡＲヘッドセットコントローラは、異なるタイプのＡＲ画像が表示される場所を決定するように構成できる。一実施形態では、複数の異なるタイプのＡＲ画像が、シースルー表示画面上に順次または同時に表示される。複数のタイプのＡＲ画像の各々について、ＡＲヘッドセットコントローラが、このタイプのＡＲ画像を表示するためのシースルー表示画面の複数の異なる領域の中から、このタイプのＡＲ画像の特性と、シースルー表示画面の異なる領域と整列された不透明フィルタの領域の不透明性のレベルと、に基づいて選択するように構成されている。例えば、ＡＲヘッドセットコントローラは、ストリームで受信されるＡＲ画像のタイプを定義するメタデータを受信し得、メタデータに基づいて、ＡＲヘッドセットコントローラがストリーム内のＡＲ画像を表示する場所を応答的に決定することができる。メタデータは、ストリーム内のＡＲ画像を表示すべき場所の好みを識別するために人によってコード化され得るか、または画像のタイプの表示（例えば、２Ｄ医療画像、３Ｄグラフィックモデルなど）などの特徴を識別し得、そこからルールセットが、ストリーム内のＡＲ画像を表示すべき場所に関するＡＲヘッドセットコントローラの決定を誘導することができる。ユーザは、シースルー表示画面の異なる領域間で、および同じ領域内でＡＲ画像を移動させるコマンドを入力し得る。
図３２に示されるように、不透明フィルタ３２００は、横方向に延在するバンドとして構成できる。いくつかの実施形態では、ＡＲヘッドセットコントローラは、不透明フィルタの横方向に延在するバンドと整列されたシースルー表示画面の領域に、患者の生体構造の２Ｄの体軸ビュー画像、矢状ビュー画像、および／または冠状ビュー画像、計画されたおよび／または現在追跡されている手術道具のポーズ、外科手術インプラント場所のグラフィックモデル、医療器具からのビデオ、および医療機器を制御する動作をトリガするユーザ選択可能なメニュー項目のうちの少なくとも１つを表示するように構成されている。ＡＲヘッドセットコントローラは、不透明フィルタの横方向に延在するバンドと整列されていないシースルー表示画面の別の領域に、解剖学的構造および手術計画情報の３Ｄグラフィックモデル、手術器具の３Ｄグラフィックモデル、解剖学的構造に対する手術器具のリアルタイムで測定されたポーズを追跡するために修正された、解剖学的構造のグラフィックモデルに対するポーズで表示される手術器具のアニメーション化された３Ｄグラフィックモデル、ならびに解剖学的構造のグラフィックモデルおよび解剖学的構造に対する外科的処置中にユーザに視覚的ガイダンスを提供する、ナビゲーションコントローラからのナビゲーション情報のうちの少なくとも１つを表示するようにさらに構成されている。
伏臥位の患者の遮るもののない視界は、目と頭との両方で下向きに見ることによって容易に得られるが、患者の拡張されたビューを、中央のレンズ領域を通して見るために頭をもう少し下方に傾けることによっても得ることができることに留意されたい。
このようにして、ＡＲヘッドセットは、ＶＲとＡＲとの両方の組み合わされた能力および利点を提供するように構成でき、ライブの術中手術などのアプリケーションの有用性を最大化するようにＶＲ−ＡＲ連続体にまたがる。ＡＲヘッドセットは、高不透明性の上部レンズ領域内またはより低い不透明性の中央レンズ領域に、ＡＲ画像を選択的に表示することによって、表示されるＡＲ画像（医療イメージなどの仮想コンテンツ）と現実世界シーンとの間にどの程度のコントラストを提供するかの選択肢を提供する。ユーザは、微妙な頭のピッチング動作を行って、現実世界シーンに対して様々な領域を調整することができ、例えば、解剖学的構造上のＡＲ画像オーバーレイを取得し、およびこれに代えて解剖学的構造の遮るもののないビューを取得することができる。ＡＲヘッドセットは、シースルー表示画面を形成するレンズのどこにどのタイプのＡＲコンテンツを表示するかを制御するハンドジェスチャおよび／またはボイスコマンドを識別するように構成できる。
不透明フィルタおよび／またはディスプレイの輝度の動的制御
上記で説明したように、不透明フィルタの不透明性は、現実世界シーンからの光がユーザの目へと通過する量を制御する。不透明フィルタの高不透明性構成は、現実世界シーンの薄暗いビュー上にオーバーレイされた高コントラストの仮想画像をもたらす。不透明フィルタの低不透明性構成は、現実世界シーンのよりクリアなビュー上にオーバーレイされる、よりかすかな仮想画像をもたらすことができる。外科手術の設定では、手術の現実世界ビューも、仮想的に表示される医療イメージの鮮明さも、損なわれるべきでない。これに加えて、手術室が大抵、非常に明るいライト（つまり、患者に向けられた外科手術灯）、ならびに照明が不十分な領域の両方を内包することにより、が含まれているため、一定の不透明性では異なる照明条件に見合うことができない環境がもたらされる。
不透明フィルタの全体的な不透明性に加えて、ＡＲ画像のコンテンツの色は、様々な環境での可視性に劇的な影響を与えることができる。仮想コンテンツは、現実世界シーン上にオーバーレイされるため、色が現実世界シーンの色と一致する仮想コンテンツをユーザが明瞭に知覚することは、はるかに困難になる。例えば、青い仮想メニューは、青い壁を有する部屋では読みにくくなるが、白い壁を有する部屋では読みやすくなる。外科手術の設定では、明瞭さまたは読みやすさを低下させるものは、いずれも避けるべき問題である。
本開示のいくつかの実施形態は、ＡＲヘッドセットコントローラを、現実世界シーンの輝度および／または色に基づいて不透明フィルタの領域の不透明性を電子的に制御するように構成することによって、および／またはＡＲヘッドセットコントローラを、現実世界シーンの輝度および／または色に基づいてシースルー表示画面上に表示されるＡＲ画像の輝度および／または色を制御するように構成することによって、これらの問題の１つ以上を克服することを対象とする。
図３３は、本開示のいくつかの実施形態に従ってＡＲヘッドセットコントローラ１４３０からの電気信号に応答して変更可能な不透明性レベルを有するように構成された不透明フィルタ３３１０のブロック図を例示している。不透明フィルタ３３１０は、印加電圧に応答して変化する光透過特性を有するように構成されたエレクトロクロマチック材料から形成され得る。別の実施形態では、不透明フィルタ３３１０は、ポリマー分散液晶デバイスなどの液晶デバイス、または印加電圧および／もしくは印加電流に応答して変更可能である光透過特性を有するように構成された他のシースルーデバイスから形成されているる。
ＡＲヘッドセットコントローラ１４３０は、不透明フィルタ３３１０の異なる領域の不透明性を電子的に制御するように構成できる。図３３は、ＡＲヘッドセットコントローラ１４３０が、横方向に延在する領域３３２０、３３２２、および３３２６に３つの異なる不透明性を提供するなどすることによって、不透明フィルタ３３１０の異なる領域の不透明性を選択的に制御するように構成できることを例示している。これに代えて、またはこれに加えて、シースルー表示画面３３２４に表示されるＶＲ物体と整列されて、その物体を通過する現実世界の光を低減することにより物体の可視認性を増加させるように位置決めされ得るエリア３３２４などの定義されたより小さいエリアの不透明性を制御するために、ＡＲヘッドセットコントローラ１４３０を比較することができる。
図３４は、本開示のいくつかの実施形態に従って構成されたＡＲヘッドセットコントローラ１４３０を含む、コンピュータプラットフォーム９１０内に存在し得るＡＲ処理回路３４００に接続されたＡＲヘッドセット９２０を含む外科手術システムの構成要素のブロック図を例示している。図３５〜図３９は、本開示のいくつかの実施形態に従う、情報がシースルー表示画面上にどのように表示されるかを制御するために、および／または不透明フィルタの不透明性を制御するために、ＡＲヘッドセットコントローラ３４１０によって実行できる動作のフローチャートを例示している。
図３４を参照すると、ＡＲヘッドセット９２０は、ＡＲヘッドセットコントローラ１４３０からの信号伝達に応答してＡＲ画像の光を投影するように構成されたＡＲエミッタ３４３０を含む。ＡＲエミッタ３４３０は、ＡＲ光エミッタ３４３０から投影されたＡＲ画像３４３２の光と現実世界シーン３４３４からの光とを、ユーザ３４５０によって視認可能である合成オーバーレイ画像３４３６へと合成するように構成されたコンバイナ３４４０に向けて光を投影する。このように構成されたコンバイナ３４４０は、シースルー表示画面として動作する。不透明フィルタ３３１０は、現実世界シーン３４３４からの光が、ユーザ３４５０の視線に沿ってコンバイナ３４４０を通過する前に、光をフィルタリングすることができる不透明フィルタ３３１０を通過するように、コンバイナ３４４０と整列されている。不透明フィルタ３３１０の背面は、現実世界シーンからの光の到着の方向で、コンバイナ３４４０の前面上に直接あってもよい。
いくつかの実施形態では、不透明フィルタは、コンバイナ３４４０上に直接あり、一定量のシェーディングを提供する。不透明フィルタは、現実世界シーンの一定量の不透明フィルタリングを提供するために、コンバイナ３４４０の表面に直接適用されるシェーディングを含み得る。例えば、１つ以上のレベルのシェーディングの１つ以上の横方向に延在するバンドを、コンバイナ３４４０の表面上に直接形成することができる。これに代えて、コンバイナ３４４０の表面上にシェーディング勾配を直接形成することができる。シェーディングは、電子的に制御可能な不透明フィルタ３３１０に代えて使用され得るか、または現実世界シーンを暗くするために電子的に制御可能な不透明フィルタ３３１０と組み合わせて使用され得る。
外科手術システムは、現実世界シーンをキャプチャするビデオフレームを出力するように構成されたカメラを含むことができる。図３４の実施形態では、１つ以上の前方カメラ１４４０は、ユーザの視線に沿って現実世界シーンを視認するように構成できる。これに代えて、またはこれに加えて、カメラ３４６０は、ユーザによって視認される現実世界シーンをキャプチャするために、ユーザの目３４５０のうちの１つからの反射を感知するように位置決めおよび構成され得る。これに加えて、カメラ３４６０は、ユーザが見ている場所を追跡するために使用されてもよく、ＡＲヘッドセットコントローラ１４３０は、不透明フィルタ３３１０の不透明性、ならびに／またはユーザがどこを見ているかを示す信号伝達の場所に基づいて表示されるＡＲ画像の輝度および／もしくは色を調整するように構成されてもよい。
様々なさらなる実施形態は、現実世界シーンの輝度および／または色に基づいて不透明フィルタ３３１０の領域の不透明性を電子的に制御するように構成されているＡＲヘッドセットコントローラ１４３０を対象とし、および／または現実世界シーンの輝度および／または色に基づいて、シースルー表示画面上に表示される、すなわち、ＡＲエミッタ３４３０によってコンバイナ３４４０に向けて投影されるＡＲ画像の輝度および／または色を制御するように構成されているＡＲヘッドセットコントローラ１４３０を対象とする。
図３５の操作の実施形態を参照すると、ＡＲヘッドセットコントローラ１４３０は、ビデオフレーム内の定義されたエリアの輝度および／または色を３５００で決定するように、かつ／またはビデオフレーム内の定義されたエリアの決定された輝度および／または色に基づいて、シースルー表示画面上に表示される、すなわち、ＡＲエミッタ３４３０によってコンバイナ３４４０に向けて投影されるＡＲ画像の輝度および／または色を３５０２で制御するように構成されている。
ＡＲヘッドセットコントローラ１４３０は、表示画面１４５０を視認する間、ユーザの頭またはユーザの体の他の箇所に着用されるように構成されたハウジング内にあり得るＡＲ処理回路３４００の一部であり得るか、またはネットワークサーバ内などの、表示画面１４５０に通信可能に接続されている間に表示画面を視認しているユーザから遠隔に位置し得る。
図３６の操作の実施形態を参照すると、ＡＲヘッドセットコントローラ１４３０は、ビデオフレーム内の定義されたエリアの輝度および／または色を３６００で決定するように、かつビデオフレーム内の定義されたエリアの決定された輝度および／または色に基づいて、不透明フィルタ３３１０の少なくとも１つのエリア、すなわち図３３のバンド３３２０の不透明性を３６０２制御するように構成されている。
図３７の操作の実施形態を参照すると、ＡＲヘッドセットコントローラ１４３０は、ＡＲヘッドセット９２０のポーズ、例えば２つ以上の定義された軸に沿った場所および／または角度の向きを３７００で決定するように、かつＡＲヘッドセット９２０の決定されたポーズに基づいて、不透明フィルタ３３１０の少なくとも１つのエリアの不透明性、例えば暗さおよび／または色を３７１０で制御するように構成されている。ＡＲヘッドセットコントローラ１４３０は、解剖学的構造を内包する手術部位に対するＡＲヘッドセットのポーズを３７０２で決定するように、かつ手術部位に対するＡＲヘッドセットの決定されたポーズに基づいて、不透明フィルタの少なくとも１つのエリアの不透明性を制御するように構成できる。例えば、図３３では、ＡＲヘッドセットコントローラ１４３０は、関連付けられたＡＲ画像を視認するためのコントラストを増加させるために、エリア３３２４を、そのエリアがユーザの視線に沿った解剖学的構造からの定義されたオフセット距離であると決定されることに基づいて、暗くし得る。
ＡＲヘッドセットコントローラ１４３０は、不透明フィルタ３３１０を暗くして、ユーザが手術部位から上向きに見ている間、ＡＲ画像のユーザの視認能力を増加させるように構成され得る。例えば、それらは、ヘッドセットコントローラ１４３０は、ＡＲヘッドセットが手術部位から離れて上向きに傾斜していることを検出することに基づいて不透明フィルタ３３１０の少なくともエリアの不透明性を３７１２で増加させ、次いで、ＡＲヘッドセットが手術部位に向かって下向きに傾いたことを検出することに基づいて、不透明フィルタ３３１０のその領域の不透明性を３７１４で減少させるように構成され得る。
ＡＲヘッドセットコントローラ１４３０は、カメラ１４４０／３４６０からのビデオフレーム内で識別された物体の輝度および／または色に基づいて不透明フィルタのエリアの不透明性を制御するように構成され得る。図３８の操作の実施形態を参照すると、ＡＲヘッドセットコントローラ１４３０は、ビデオフレーム内の物体を３８００で識別し、ビデオフレーム内の識別された物体の輝度および／または色を３８０２で決定し、ビデオフレーム内の識別された物体に対応する現実世界物体に対するＡＲヘッドセット９２０のポーズを３８０４で決定するように、かつビデオフレーム内の識別された物体の決定された輝度および／または色に基づいて、および決定されたポーズに基づいて、不透明フィルタ３３１０の少なくとも１つのエリアの不透明性（例えば、暗さおよび／または色）を３８０６で制御するように構成されている。
ＡＲヘッドセットコントローラ１４３０は、カメラ１４４０／３４６０からのビデオフレーム内で識別された物体の輝度および／または色に基づいて、シースルー表示画面上に表示される、すなわち、ＡＲエミッタ３４３０によってコンバイナ３４４０に向けて投影される情報の輝度および／または色を制御するように構成され得る。図３９の操作の実施形態を参照すると、ＡＲヘッドセットコントローラ１４３０は、ビデオフレーム内の物体を３９００で識別し、ビデオフレーム内の識別された物体の輝度および／または色を３９０２で決定し、ビデオフレーム内の識別された物体に対応する現実世界物体に対するＡＲヘッドセット９２０のポーズ（例えば、場所および／または角度の向き）を３９０４で決定するように、かつビデオフレーム内の識別された物体の決定された輝度および／または色に基づいて、および決定されたポーズに基づいて、シースルー表示画面上に表示されるＡＲ画像の輝度および／または色を３９０６で制御するように構成されている。
ＡＲヘッドセットコントローラ１４３０は、不透明フィルタ３３１０の個々のピクセルまたはピクセルのグループの不透明性を制御するように構成され得る。例えば、不透明フィルタ３３１０は、グリッドに配置され、かつピクセルの不透明性を光透過率に調整するように電気的に制御可能な複数のピクセルを有するように構成できる。ＡＲヘッドセットコントローラ１４３０は、不透明フィルタ３３１０を電気的に制御して、シースルー表示画面上に表示される、すなわち、ＡＲエミッタ３４３０によってコンバイナ３４４０に向けて投影されるＡＲ画像の形状の少なくとも一部分と整列されるか、または一部分から一定距離オフセットしていることに基づいてグリッド内から選択された少なくともいくつかのピクセルに増加させた不透明性を提供するように構成できる。例えば、手術室における明るい照明のユーザの視認を、ＡＲヘッドセットコントローラ１４３０によって薄暗くすることができ、ユーザの視線に沿った照明と整列された不透明フィルタ３３１０のピクセルのグループの不透明性を増加させる。同様の様式で、解剖学的構造から定義された距離だけオフセットされたエリアは、外科的処置中に薄暗くされて、ＡＲヘッドセットコントローラ１４３０が、ユーザの視線に沿ってそのエリアと整列された不透明フィルタ３３１０のピクセルのグループに増加させた不透明性を提供することによって、そのエリア上にオーバーレイされたＡＲ画像の増加させた視認性を提供させることができる。
いくつかの他の実施形態では、ＡＲ画像のコンテンツの背後のエリアを暗くすることができ、暗くしたエリアを移動させて、ＡＲヘッドセットの移動、および／またはＡＲ画像が表示されている場所を追跡することができる。例えば、ＡＲヘッドセットコントローラ１４３０は、不透明フィルタ３３１０を電気的に制御して、グリッド内から選択された少なくともいくつかのピクセルに増加させた不透明性を提供して、シースルー表示画面上に表示されるＡＲ画像の形状の周囲に基づいて定義される形状を形成するように構成できる。ＡＲヘッドセットコントローラ１４３０は、不透明フィルタ３３１０を電気的に制御して、シースルー表示画面上に表示されるＡＲ画像の形状の少なくとも一部分と整列されることに基づいて、グリッド内から選択されたピクセルの領域に相対的に高い不透明性を提供するように、かつシースルー表示画面上に表示されるＡＲ画像の形状外の周辺にあることに基づいて、グリッド内から選択されたピクセルの別の領域に不透明性の漸次遷移を提供するように構成できる。
可視光カメラ１４４０／３４６０を使用して、コンバイナ３４４０上の環境照明条件を検出し、かつ不透明フィルタ３３１０の不透明性を電気的に制御することにより、外科手術中に生じる様々な可視性およびコントラストの問題を克服することができる。この設定により、照明条件、仮想コンテンツ、さらにはユーザの好みに基づいて、コンバイナの不透明性と色との両方の動的な調整が可能になる。
ＶＲヘッドセット内のコンバイナの不透明性を動的に制御することにより、ユーザにより良い明瞭さを提供する多くのユースケースがある。
一ユースケースでは、いくつかのコンテンツが、すべての場合に明瞭に見える必要がある。例えば、ライブの外科手術ナビゲーションに使用される医療イメージは、可能な限り明瞭に示されるべきである。動的なコンバイナの不透明性があれば、これらの画像を常に暗い背景に表示できるようになる。
図３２は、シースルー表示画面（コンバイナ）の特定の領域（上部の横方向に伸びるバンド）を、その領域に示されるコンテンツに基づいて暗くする例を示す。この例では、医療イメージをコンバイナの上部に表示することができる。医療イメージがそのスペースを占める場合はいつでも、その領域は暗くなり、存在しない場合、領域は通常の透明度に戻る。この動的な調整により、他ならぬ必要な場所とタイミングで高コントラストの不透明性が可能になる。
第２のユースケースでは、動的な不透明性調整により、手術室で特に重要である環境の照明条件に応答する変更が可能になる。手術部位は、強力な外科手術灯でスポット照明されることが多く、部屋の他の部分はそれほど強く照らされない。ヘッドセット９２０に取り付けられた可視光カメラ、または環境内の照明条件を決定するための任意の他の方法を使用して、ソフトウェアは、部屋の照明に見合うようにコンバイナのどの部分を暗くする必要があるかを決定することができる。例えば、ＡＲヘッドセットコントローラ１４３０は、各コンバイナの左側を応答的に暗くすることによって（各目に別個のコンバイナが提供される場合）か、またはユーザの左側の視野と整列された、単一のコンバイナ上の暗くなった離間配置された左側領域を、対応する目に供給することによって、ユーザの視野の左側部分の明るい光源の感知に応答することができる。ユーザの視野の右側部分はそれほど強く照らされていないため、コンバイナの右側は、より透明に保たれる。外科医が部屋の他の場所に移動するか、または追加の照明をオンにするとすれば、新たな照明条件に応答して、暗くなった領域を調整することが可能ではある。
同様に、部屋の照明条件を使用して、仮想コンテンツの色パレットを動的に調整し、より良いコントラストを作成することができる。可視光カメラを使用して環境の全体的な輝度を決定し得るのと同じ方法で。カメラ出力ビデオフレームを使用して、部屋の異なる部分の主要な背景色を決定することができる。この情報を、ＡＲヘッドセットコントローラ１４３０によって使用して、レンダリングされる仮想コンテンツに適切なコントラスト色を選択することができる。動的に制御されるコンバイナの不透明性と仮想コンテンツの色パレットの調整との間で、ヘッドセット９２０は、環境の照明条件とは関係なく、良好な鮮明さおよび高コントラストのイメージを維持することができる。
第３のユースケースでは、外科医の個々の好みを満たすように、動的な不透明性調整が実行される。不透明性は、ＡＲヘッドセットコントローラ１４３０によって実行されるソフトウェアを介して制御できるため、ユーザに、機械的に事前定義されたコンバイナ部の外観に対する直接制御を与えることができる。このスタイルの直接制御を、カスタム設定をベースラインとして使用し、かつその開始点から動的に調整することによって、（特定のコンテンツの背景、または環境照明条件についてなどの）他の自動調整プロセスと組み合わせて使用することが可能である。ユーザが不透明性をカスタマイズすることを望み得る多くの理由があり、手術部位のビューの遮りを極力抑えることを好み、かつかすかな仮想物体のみを所望し得る外科医もいれば、室内の助手、技術者、および他の医師と直接アイコンタクトできるようにするための高い視認性を望み得る外科医もおり、また主に仮想医療イメージでナビゲートすることを好み得ることにより、一部の領域でほぼ完全な不透明性を望む外科医もいる。この理由とは関係なく、この技術により、外科医は、現在の症例、手術室、そして最も重要なことに、外科医自身の好みに合わせて自分の体験をカスタマイズできるようになる。
さらなる規定および実施形態：
本発明の概念の様々な実施形態の上記の説明において、本明細書において使用される用語は、特定の実施形態を説明することのみを目的とし、本発明の概念を限定することを意図しないことを理解されたい。別様に定義されない限り、本明細書において使用されるすべての用語（技術用語および科学用語を含む）は、本発明の概念が属する技術の当業者によって一般に理解されるのと同じ意味を有する。一般的に使用される辞書に定義されるような用語は、本明細書および関連する技術分野の文脈におけるそれらの意味に矛盾しない意味を有するものとして解釈されるべきであり、本明細書で明確にそのように定義された理想化された、または過度に形式的な意味では解釈されないことをさらに理解されよう。
ある要素が別の要素に対して「接続された（ｃｏｎｎｅｃｔｅｄ）」、「結合された（ｃｏｕｐｌｅｄ）」、「応答する（ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変異型であるように参照される場合、その要素は、他の要素に直接接続、結合、もしくは応答することができるか、または介在する要素が存在してもよい。対照的に、ある要素が別の要素に対して「直接接続された（ｄｉｒｅｃｔｌｙ ｃｏｎｎｅｃｔｅｄ）」、「直接結合された（ｄｉｒｅｃｔｌｙ ｃｏｕｐｌｅｄ）」、「直接応答する（ｄｉｒｅｃｔｌｙ ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変異型であるように参照される場合、介在する要素は存在しない。同様の番号は、全体を通して同様の要素を指す。さらにまた、本明細書において使用される場合、「結合された（ｃｏｕｐｌｅｄ）」、「接続された（ｃｏｎｎｅｃｔｅｄ）」、「応答する（ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変異型は、無線で結合、接続、または応答することを含むことができる。本明細書において使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈がそうでないことを明確に示さない限り、複数形も含むことを意図している。周知の機能または構造は、簡潔さおよび／または明確さのために詳細に説明されない場合がある。「および／または」という用語は、関連する列挙された項目のうちの１つ以上のいずれかおよびすべての組み合わせを含む。
本明細書では、第１、第２、第３などの用語を使用して様々な要素／動作を説明することがあるが、これらの要素／動作は、これらの用語によって限定されるべきではないことが理解されよう。これらの用語は、ある要素／動作を他の要素／動作から区別するためにのみ使用される。したがって、いくつかの実施形態における第１の要素／動作は、本発明の概念の教示から逸脱することなく、他の実施形態における第２の要素／動作と呼ぶことができる。同じ参照番号または同じ参照符号は、明細書全体を通して同じまたは類似の要素を示す。
本明細書において使用される場合、「備える（ｃｏｍｐｒｉｓｅ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「備える（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｉｎｃｌｕｄｅ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「有する（ｈａｖｅ）」、「有する（ｈａｓ）」、「有する（ｈａｖｉｎｇ）」という用語、またはそれらの変異型は、制限がなく、１つ以上の記された特徴、整数、要素、ステップ、構成要素、または機能を含むが、１つ以上の他の特徴、整数、要素、ステップ、構成要素、機能、またはそれらのグループの存在もしくは追加を排除しない。さらにまた、本明細書において使用される場合、ラテン語の「例えば（ｅｘｅｍｐｌｉ ｇｒａｔｉａ）」から派生した一般的な略語「例えば（ｅ．ｇ．）」は、前述の項目の全般的な例（複数可）を紹介または指定するために使用されてもよく、かかる項目を限定することを意図するものではない。ラテン語の「すなわち（ｉｄ ｅｓｔ）」から派生した一般的な略語「すなわち（ｉ．ｅ．）」は、より全般的な列挙から特定の項目を指定するために使用されてもよい。
例示的な実施形態は、コンピュータ実装方法、装置（システムおよび／もしくはデバイス）、ならびに／またはコンピュータプログラム製品を示すブロック図および／またはフローチャート図を参照して本明細書において説明される。ブロック図および／またはフローチャート図のブロック、ならびにブロック図および／またはフローチャート図におけるブロックの組み合わせは、１つ以上のコンピュータ回路によって実行されるコンピュータプログラム命令によって実装されることができることが理解される。これらのコンピュータプログラム命令を汎用コンピュータ回路、専用コンピュータ回路、および／または他のプログラム可能なデータ処理回路のプロセッサ回路に提供して機械を生成することができ、それにより、コンピュータのプロセッサおよび／または他のプログラム可能なデータ処理装置を介して実行される命令は、トランジスタ、メモリの場所に記憶された値、およびかかる回路網内の他のハードウェア構成要素を変換および制御して、ブロック図および／またはフローチャートブロック（複数可）において指定された機能／作用を実装し、かつそれによって、ブロック図および／またはフローチャートブロック（複数可）において指定された機能／作用を実装するための手段（機能）および／または構造を作り出す。
これらのコンピュータプログラム命令はまた、コンピュータ可読媒体に記憶された命令がブロック図および／またはフローチャートブロックまたは複数のブロックにおいて指定された機能／作用を実装する命令を含む製造物品を製造するように、コンピュータまたは他のプログラム可能なデータ処理装置が特定の方法で機能するように指示することができる有形のコンピュータ可読媒体に記憶されてもよい。したがって、本発明の概念の実施形態は、集合的に「回路網」、「モジュール」、またはそれらの変異型と称され得る、デジタル信号プロセッサなどのプロセッサで動作するハードウェアおよび／またはソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）で具体化され得る。
また、いくつかの代替実装形態では、ブロックに記載されている機能／作用が、フローチャートに記載されている順序とは異なる順序で発生する場合があることにも留意されたい。例えば、連続して示されている２つのブロックは、関与する機能／作用に応じて、実際には実質的に同時に実行されてもよいかまたはブロックが逆の順序で実行されてもよい。さらに、フローチャートおよび／またはブロック図の所与のブロックの機能は、複数のブロックに分離されてもよく、および／またはフローチャートおよび／またはブロック図の２つ以上のブロックの機能は、少なくとも部分的に統合されてもよい。最後に、本発明の概念の範囲から逸脱することなく、図示されているブロックの間に他のブロックが追加／挿入されてもよく、および／またはブロックまたは動作が省略されてもよい。さらに、いくつかの図は、通信の主要な方向を示すために通信経路上に矢印を含んでいるが、通信は、描かれた矢印と反対の方向で発生する場合があることを理解されたい。
本発明の概念の原理から実質的に逸脱することなく、実施形態に対して多くの変更および修正を行うことができる。すべてのかかる変更および修正は、本発明の概念の範囲内で本明細書に含まれることが意図されている。したがって、上記で開示された主題は、限定的ではなく例示的であると見なされるべきであり、添付の実施形態の例は、本発明の概念の趣旨および範囲内にあるすべてのかかる修正例、強化例、および他の実施形態を網羅することを意図するものである。したがって、法律で許容される最大限の範囲で、本発明の概念の範囲は、以下の実施形態の例およびそれらの均等物を含む本開示の最も広い許容可能な解釈によって決定されるべきであり、前述の詳細な説明によって制限または限定されるべきではない。

Claims (21)

  1. 外科手術システムであって、
    外科的処置中にユーザが着用するように構成された拡張現実（ＡＲ）ヘッドセットであって、
    シースルー表示画面であって、ＡＲ画像を表示するように、かつ現実世界シーンの少なくとも一部分が前記ユーザによる視認のために前記シースルー表示画面を通過できるように構成された、シースルー表示画面と、
    前記ユーザが前記シースルー表示画面を視認するときに、前記ユーザの目のうちの少なくとも１つと前記現実世界シーンとの間に位置決めされた不透明フィルタであって、前記不透明フィルタが、前記現実世界シーンからの光に対する不透明性を提供するように構成されている、不透明フィルタと、を含む、ＡＲヘッドセットと、
    解剖学的構造に対する前記外科的処置中に前記ユーザにガイダンスを提供するナビゲーション情報を前記ナビゲーションコントローラから受信するために、ナビゲーションコントローラと通信するように構成され、かつ前記シースルー表示画面上での表示のために前記ナビゲーション情報に基づいて前記ＡＲ画像を生成するように構成されたＡＲヘッドセットコントローラと、を含む、外科手術システム。
  2. 前記シースルー表示画面が、前記ＡＲヘッドセットの前部の横方向にわたり、かつ前記前部から下向きに延在する湾曲レンズを含み、前記不透明フィルタが、前記湾曲レンズの表面上にある、請求項１に記載の外科手術システム。
  3. 前記不透明フィルタが、少なくとも２つの横方向に延在するバンドで構成されており、前記少なくとも２つの横方向に延在するバンドのうちの上側のものが、前記少なくとも２つの横方向に延在するバンドのうちの下側のものよりも低い光透過率を有する、請求項１に記載の外科手術システム。
  4. 前記不透明フィルタが、横方向に延在するバンドとして構成されており、
    前記ＡＲヘッドセットコントローラが、前記不透明フィルタの前記横方向に延在するバンドと整列された前記シースルー表示画面の領域に、患者の生体構造の２Ｄの体軸ビュー画像、矢状ビュー画像、および／または冠状ビュー画像、計画されたおよび／または現在追跡されている手術道具のポーズ、外科的インプラント場所のグラフィックモデル、医療器具からのビデオ、ならびに医療機器を制御する動作をトリガするユーザが選択可能なメニュー項目のうちの少なくとも１つを表示するように、かつ前記不透明フィルタの前記横方向に延在するバンドと整列されていない前記シースルー表示画面の別の領域に、前記解剖学的構造および手術計画情報の３Ｄグラフィックモデル、手術器具の３Ｄグラフィックモデル、前記解剖学的構造に対する手術器具のリアルタイムで測定されたポーズを追跡するために修正された、前記解剖学的構造のグラフィックモデルに対するポーズで表示される前記手術器具のアニメーション化された３Ｄグラフィックモデル、ならびに前記解剖学的構造のグラフィックモデルおよび前記解剖学的構造に対する前記外科的処置中に前記ユーザに視覚的ガイダンスを提供する、前記ナビゲーションコントローラからの前記ナビゲーション情報のうちの少なくとも１つを表示するように構成されている、請求項１に記載の外科手術システム。
  5. 前記ＡＲヘッドセットコントローラからの信号伝達に応答して前記ＡＲ画像の光を投影するように構成されたＡＲエミッタをさらに含み、
    前記不透明フィルタが、横方向に延在するバンドとして構成されており、
    前記シースルー表示画面が、前記ＡＲ光エミッタから投影された前記ＡＲ画像の前記光と前記現実世界シーンからの光とを、前記ユーザによって視認可能な合成オーバーレイ画像へと合成するように構成されたコンバイナを含み、
    前記不透明フィルタの前記横方向に延在するバンドが、前記コンバイナの表面上にある、請求項１に記載の外科手術システム。
  6. 前記ＡＲヘッドセットコントローラからの信号伝達に応答して前記ＡＲ画像の光を投影するように構成されたＡＲエミッタをさらに含み、
    前記シースルー表示画面が、前記ＡＲエミッタから投影された前記ＡＲ画像の光と前記現実世界シーンからの光とを、前記ユーザによって視認可能な合成画像へと合成するように構成されたコンバイナを含み、
    前記不透明フィルタが、前記コンバイナの表面上で延在する不透明性勾配を含む、請求項１に記載の外科手術システム。
  7. 複数のタイプのＡＲ画像の各々について、前記ＡＲヘッドセットコントローラが、前記タイプのＡＲ画像を表示するための前記シースルー表示画面の複数の異なる領域の中から、前記タイプのＡＲ画像の特性と、前記シースルー表示画面の前記異なる領域と整列された前記不透明フィルタの領域の不透明性のレベルと、に基づいて選択するように構成されている、請求項１に記載の外科手術システム。
  8. 前記現実世界シーンをキャプチャするビデオフレームを出力するように構成されたカメラをさらに含み、
    前記ＡＲヘッドセットコントローラが、前記ビデオフレーム内の定義されたエリアの輝度および／または色を決定するように、かつ前記ビデオフレーム内の前記定義されたエリアの前記決定された輝度および／または色に基づいて、前記不透明フィルタの少なくとも１つのエリアの不透明性を制御するように構成されている、請求項１に記載の外科手術システム。
  9. 前記現実世界シーンをキャプチャするビデオフレームを出力するように構成されたカメラをさらに含み、
    前記ＡＲヘッドセットコントローラが、前記ビデオフレーム内の定義されたエリアの輝度および／または色を決定するように、かつ前記ビデオフレーム内の前記定義されたエリアの前記決定された輝度および／または色に基づいて、前記シースルー表示画面上に表示される前記ＡＲ画像の輝度および／または色を制御するように構成されている、請求項１に記載の外科手術システム。
  10. 前記ＡＲヘッドセットコントローラが、前記ＡＲヘッドセットのポーズを決定するように、かつ前記ＡＲヘッドセットの前記決定されたポーズに基づいて前記不透明フィルタの少なくとも１つのエリアの不透明性を制御するように構成されている、請求項１に記載の外科手術システム。
  11. 前記ＡＲヘッドセットコントローラが、前記解剖学的構造を内包する手術部位に対する前記ＡＲヘッドセットの前記ポーズを決定するように、かつ前記手術部位に対する前記ＡＲヘッドセットの前記決定されたポーズに基づいて、前記不透明フィルタの少なくとも１つのエリアの不透明性を制御するように構成されている、請求項１０に記載の外科手術システム。
  12. 前記現実世界シーンをキャプチャするビデオフレームを出力するように構成されたカメラをさらに含み、
    前記ＡＲヘッドセットコントローラが、前記ビデオフレーム内の物体を識別し、前記ビデオフレーム内の前記識別された物体の輝度および／または色を決定し、前記ビデオフレーム内の前記識別された物体に対応する現実世界物体に対する前記ＡＲヘッドセットのポーズを決定するように、かつ前記ビデオフレーム内の前記識別された物体の前記決定された輝度および／または色に基づいて、および前記決定されたポーズに基づいて、前記不透明フィルタの少なくとも１つのエリアの不透明性を制御するように構成されている、請求項１に記載の外科手術システム。
  13. 前記現実世界シーンをキャプチャするビデオフレームを出力するように構成されたカメラをさらに含み、
    前記ＡＲヘッドセットコントローラが、前記ビデオフレーム内の物体を識別し、前記ビデオフレーム内の前記識別された物体の輝度および／または色を決定し、前記ビデオフレーム内の前記識別された物体に対応する現実世界物体に対する前記ＡＲヘッドセットのポーズを決定するように、かつ前記ビデオフレーム内の前記識別された物体の前記決定された輝度および／または色に基づいて、および前記決定されたポーズに基づいて、前記シースルー表示画面上に表示される前記ＡＲ画像の輝度および／または色を制御するように構成されている、請求項１に記載の外科手術システム。
  14. 前記不透明フィルタが、グリッドに配置され、かつピクセル不透明性を光透過率に調整するように電気的に制御可能な複数のピクセルを含み、
    前記ＡＲヘッドセットコントローラが、前記シースルー表示画面上に表示されるＡＲ画像の形状の少なくとも一部分と整列されていること、または前記一部分からの距離のオフセットに基づいて前記グリッド内から選択された少なくともいくつかのピクセルに増加された不透明性を提供するために、前記不透明フィルタを電気的に制御するように構成されている、請求項１に記載の外科手術システム。
  15. 前記ＡＲヘッドセットコントローラが、前記シースルー表示画面上に表示されるＡＲ画像の前記形状の周囲に基づいて定義される形状を形成するように前記グリッド内から選択された少なくともいくつかのピクセルに増加された不透明性を提供するために、前記不透明フィルタを電気的に制御するように構成されている、請求項１４に記載の外科手術システム。
  16. 前記ＡＲヘッドセットコントローラが、前記シースルー表示画面上に表示される前記ＡＲ画像の前記形状の少なくとも一部分と整列されることに基づいて、前記グリッド内から選択されたピクセルの領域に相対的に高い不透明性を提供するために、前記不透明フィルタを電気的に制御するように、かつ前記シースルー表示画面上に表示される前記ＡＲ画像の前記形状の外側の周辺にあることに基づいて、前記グリッド内から選択されたピクセルの別の領域に不透明性の漸次遷移を提供するように構成されている、請求項１４に記載の外科手術システム。
  17. 拡張現実（ＡＲ）ヘッドセットであって、
    シースルー表示画面であって、ＡＲ画像を表示するように、かつ現実世界シーンの少なくとも一部分がユーザによる視認のために前記シースルー表示画面を通過できるようにするように構成されたシースルー表示画面を含み、
    不透明フィルタが、前記ユーザが前記ＡＲヘッドセットを着用して前記シースルー表示画面を視認する間、前記ユーザの目のうちの少なくとも１つと前記現実世界シーンとの間に位置決めされるように構成されており、前記不透明フィルタが、前記現実世界シーンからの光に対する不透明性を提供するように構成されている、ＡＲヘッドセット。
  18. ナビゲーションコントローラと通信するように構成されたＡＲヘッドセットコントローラをさらに含み、前記ＡＲヘッドセットコントローラが、外科的処置中に前記ユーザに視覚的ガイダンスを提供するナビゲーション情報を前記ナビゲーションコントローラから受信するように、かつ前記シースルー表示画面上での表示のために前記ナビゲーション情報に基づいて前記ＡＲ画像を生成するように構成されており、
    前記シースルー表示画面が、前記ＡＲヘッドセットのフロントバーに横方向にわたり、かつ前記フロントバーから下向きに延在する湾曲レンズを含み、前記不透明フィルタが、前記湾曲レンズの表面上で横方向に延在するバンドとして構成されており、前記ＡＲヘッドセットコントローラが、１つのセットのタイプのナビゲーション情報を使用して生成されたＡＲ画像を、前記不透明フィルタの前記横方向に延在するバンドと整列された前記シースルー表示画面の領域に表示するように、かつ異なるセットのタイプのナビゲーション情報を使用して生成されたＡＲ画像を、前記不透明フィルタの前記横方向に延在するバンドと整列されていない前記シースルー表示画面の別の領域に表示するように構成されている、請求項１７に記載のＡＲヘッドセット。
  19. ナビゲーションコントローラと通信するように構成されたＡＲヘッドセットコントローラであって、前記ＡＲヘッドセットコントローラが、外科的処置中に前記ユーザに視覚的ガイダンスを提供するナビゲーション情報を前記ナビゲーションコントローラから受信するように、かつ前記シースルー表示画面上での表示のために前記ナビゲーション情報に基づいて前記ＡＲ画像を生成するように構成された、ＡＲヘッドセットコントローラと、
    前記ＡＲヘッドセットコントローラからの信号伝達に応答して前記ＡＲ画像の光を投影するように構成されたＡＲエミッタと、をさらに含み、
    前記シースルー表示画面が、前記ＡＲエミッタから投影された前記ＡＲ画像の光と前記現実世界シーンからの光とを、前記ユーザによって視認可能な合成画像へと合成するように構成されたコンバイナを含み、
    前記不透明フィルタが、前記コンバイナの表面上にある、請求項１７に記載のＡＲヘッドセット。
  20. 前記現実世界シーンをキャプチャするビデオフレームを出力するように構成されたカメラと、
    外科的処置中に前記ユーザにガイダンスを提供するナビゲーション情報を受信するようにナビゲーションコントローラと通信し、
    前記シースルー表示画面上での表示のために前記ナビゲーション情報に基づいて前記ＡＲ画像を生成し、
    前記ビデオフレーム内の定義されたエリアの輝度および／または色を決定し、および
    前記ビデオフレーム内の前記定義されたエリアの前記決定された輝度および／または色に基づいて、前記不透明フィルタの少なくとも１つのエリアの不透明性を制御するように構成されたＡＲヘッドセットコントローラと、をさらに含む、請求項１７に記載のＡＲヘッドセット。
  21. 前記現実世界シーンをキャプチャするビデオフレームを出力するように構成されたカメラと、
    外科的処置中に前記ユーザにガイダンスを提供するナビゲーション情報を受信するようにナビゲーションコントローラと通信し、
    前記シースルー表示画面上での表示のために前記ナビゲーション情報に基づいて前記ＡＲ画像を生成し、
    前記ビデオフレーム内の定義されたエリアの輝度および／または色を決定し、および
    前記ビデオフレーム内の前記定義されたエリアの前記決定された輝度および／または色に基づいて、前記シースルー表示画面上に表示される前記ＡＲ画像の輝度および／または色を制御するように構成されたＡＲヘッドセットコントローラと、をさらに含む、請求項１７に記載のＡＲヘッドセット。
JP2020204490A 2019-12-10 2020-12-09 ナビゲートされるロボット外科手術のための変動する不透明性を有する拡張現実ヘッドセット Active JP7112471B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/708,937 2019-12-10
US16/708,937 US20210169578A1 (en) 2019-12-10 2019-12-10 Augmented reality headset with varied opacity for navigated robotic surgery

Publications (2)

Publication Number Publication Date
JP2021090753A true JP2021090753A (ja) 2021-06-17
JP7112471B2 JP7112471B2 (ja) 2022-08-03

Family

ID=73789999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020204490A Active JP7112471B2 (ja) 2019-12-10 2020-12-09 ナビゲートされるロボット外科手術のための変動する不透明性を有する拡張現実ヘッドセット

Country Status (4)

Country Link
US (1) US20210169578A1 (ja)
EP (1) EP3834768B1 (ja)
JP (1) JP7112471B2 (ja)
CN (1) CN112932661A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021077375A (ja) * 2019-11-08 2021-05-20 ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッドＬｅｉｃａ Ｉｎｓｔｒｕｍｅｎｔｓ （Ｓｉｎｇａｐｏｒｅ） Ｐｔｅ． Ｌｔｄ． 光学システムならびに対応する装置、方法およびコンピュータプログラム
US11860351B2 (en) 2020-03-20 2024-01-02 Leica Instruments (Singapore) Pte. Ltd. Illumination system, system, method and computer program for a microscope system

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2955481B1 (fr) 2010-01-27 2013-06-14 Tornier Sa Dispositif et procede de caracterisation glenoidienne d'une omoplate a protheser ou a resurfacer
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
KR102567007B1 (ko) 2017-02-24 2023-08-16 마시모 코오퍼레이션 의료 모니터링 데이터 표시 시스템
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11684400B2 (en) 2018-09-07 2023-06-27 Cilag Gmbh International Grounding arrangement of energy modules
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11950968B2 (en) * 2020-03-13 2024-04-09 Trumpf Medizin Systeme Gmbh + Co. Kg Surgical augmented reality
US11448868B2 (en) * 2020-05-07 2022-09-20 Kgg Inc Ergonomic EZ scope digital imaging system
US20210361360A1 (en) * 2020-05-19 2021-11-25 Orthosoft Ulc Stabilization system for navigation camera in computer-assisted surgery
US20220104896A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Interactive information overlay on multiple surgical displays
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US20220104911A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Cooperative surgical displays
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US20210121245A1 (en) * 2020-10-06 2021-04-29 Transenterix Surgical, Inc. Surgeon interfaces using augmented reality
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US20220335696A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Mixed reality feedback systems that cooperate to increase efficient perception of complex data feeds
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
WO2023159104A2 (en) * 2022-02-16 2023-08-24 Monogram Orthopaedics Inc. Implant placement guides and methods
WO2024086234A1 (en) * 2022-10-18 2024-04-25 Worcester Polytechnic Institute Robotic assisted imaging

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
JP2013542462A (ja) * 2010-09-21 2013-11-21 マイクロソフト コーポレーション 透過頭部装着ディスプレイ用不透明フィルター
US20170007351A1 (en) * 2015-07-12 2017-01-12 Steven Sounyoung Yu Head-Worn Image Display Apparatus for Microsurgery and Other Uses
WO2018203304A1 (en) * 2017-05-05 2018-11-08 Scopis Gmbh Surgical navigation system

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050054910A1 (en) * 2003-07-14 2005-03-10 Sunnybrook And Women's College Health Sciences Centre Optical image-based position tracking for magnetic resonance imaging applications
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US10176642B2 (en) * 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
US20170256095A1 (en) * 2016-03-02 2017-09-07 Siemens Medical Solutions Usa, Inc. Blocking screen in Augmented Reality
US11013414B2 (en) * 2016-05-10 2021-05-25 Synaptive Medical Inc. Multispectral synchronized imaging
CN109982657B (zh) * 2016-11-11 2023-06-30 直观外科手术操作公司 具有多模态图像显示的外科手术系统
CN108261167B (zh) * 2017-01-03 2019-12-03 上银科技股份有限公司 内视镜操控系统
US10499997B2 (en) * 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
EP3574361B1 (en) * 2017-01-30 2022-04-20 Alcon Inc. Systems and method for augmented reality ophthalmic surgical microscope projection
US20190175059A1 (en) * 2017-12-07 2019-06-13 Medtronic Xomed, Inc. System and Method for Assisting Visualization During a Procedure
WO2019148154A1 (en) * 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
AU2019200594B2 (en) * 2018-02-08 2020-05-28 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US20190254753A1 (en) * 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
KR102014385B1 (ko) * 2018-02-20 2019-08-26 (주)휴톰 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치
US10413364B1 (en) * 2018-08-08 2019-09-17 Sony Corporation Internal organ localization of a subject for providing assistance during surgery
US11067809B1 (en) * 2019-07-29 2021-07-20 Facebook Technologies, Llc Systems and methods for minimizing external light leakage from artificial-reality displays

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
JP2013542462A (ja) * 2010-09-21 2013-11-21 マイクロソフト コーポレーション 透過頭部装着ディスプレイ用不透明フィルター
US20170007351A1 (en) * 2015-07-12 2017-01-12 Steven Sounyoung Yu Head-Worn Image Display Apparatus for Microsurgery and Other Uses
WO2018203304A1 (en) * 2017-05-05 2018-11-08 Scopis Gmbh Surgical navigation system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021077375A (ja) * 2019-11-08 2021-05-20 ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッドＬｅｉｃａ Ｉｎｓｔｒｕｍｅｎｔｓ （Ｓｉｎｇａｐｏｒｅ） Ｐｔｅ． Ｌｔｄ． 光学システムならびに対応する装置、方法およびコンピュータプログラム
JP7101740B2 (ja) 2019-11-08 2022-07-15 ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド 光学システムならびに対応する装置、方法およびコンピュータプログラム
US11494954B2 (en) 2019-11-08 2022-11-08 Leica Instruments (Singapore) Pte. Ltd. Optical system and corresponding apparatus, method and computer program
US11860351B2 (en) 2020-03-20 2024-01-02 Leica Instruments (Singapore) Pte. Ltd. Illumination system, system, method and computer program for a microscope system

Also Published As

Publication number Publication date
US20210169578A1 (en) 2021-06-10
EP3834768B1 (en) 2024-02-28
CN112932661A (zh) 2021-06-11
JP7112471B2 (ja) 2022-08-03
EP3834768A1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
JP7112471B2 (ja) ナビゲートされるロボット外科手術のための変動する不透明性を有する拡張現実ヘッドセット
JP7216768B2 (ja) 三次元のエクステンデットリアリティアプリケーションでの医療画像における二次元のデジタル撮像の活用および通信
JP7478106B2 (ja) 外科手術におけるコンピュータ支援ナビゲーションのための光学器具追跡ボリュームのエクステンデッドリアリティ視覚化
JP7135128B2 (ja) 可視および近赤外線スペクトルにおけるエクステンデッドリアリティの外科手術ナビゲーションのための姿勢測定連鎖
US11839435B2 (en) Extended reality headset tool tracking and control
US20210169581A1 (en) Extended reality instrument interaction zone for navigated robotic surgery
US11207150B2 (en) Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US20210169605A1 (en) Augmented reality headset for navigated robotic surgery
JP7216764B2 (ja) 手術中の支援されたナビゲーションのための拡張現実ヘッドセットのカメラによって追跡された参照アレイを備えた手術器具の位置合わせ
JP7282816B2 (ja) ナビゲートされたロボット外科手術のためのエクステンデッドリアリティ器具相互作用ゾーン
US20210251717A1 (en) Extended reality headset opacity filter for navigated surgery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220722

R150 Certificate of patent or registration of utility model

Ref document number: 7112471

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150