JP2018511359A - 手術室及び手術部位認識 - Google Patents

手術室及び手術部位認識 Download PDF

Info

Publication number
JP2018511359A
JP2018511359A JP2017542077A JP2017542077A JP2018511359A JP 2018511359 A JP2018511359 A JP 2018511359A JP 2017542077 A JP2017542077 A JP 2017542077A JP 2017542077 A JP2017542077 A JP 2017542077A JP 2018511359 A JP2018511359 A JP 2018511359A
Authority
JP
Japan
Prior art keywords
image
surgical
eye
user
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017542077A
Other languages
English (en)
Other versions
JP6709796B2 (ja
Inventor
ドワイト メグラン，
ドワイト メグラン，
Original Assignee
コヴィディエン リミテッド パートナーシップ
コヴィディエン リミテッド パートナーシップ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コヴィディエン リミテッド パートナーシップ, コヴィディエン リミテッド パートナーシップ filed Critical コヴィディエン リミテッド パートナーシップ
Publication of JP2018511359A publication Critical patent/JP2018511359A/ja
Application granted granted Critical
Publication of JP6709796B2 publication Critical patent/JP6709796B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Abstract

本開示は、利用者によって装着される拡張現実頭部取り付け機器に関する。機器は、手術環境の画像を取得するように構成された画像取得機器と、手術環境の画像に基づいて拡張された画像を表示するように構成された透明レンズと、を含む。眼追跡モジュールが、透明レンズに結合され、利用者の眼の凝視の方向を決定するように構成され、眼追跡モジュールによって判定される眼の凝視の方向が、拡張された画像を操作するために使用される。【選択図】図５

Description

関連出願の相互参照
本出願は、参照によってその全体の内容が本明細書に組み込まれる、２０１５年２月２０日に出願された米国仮特許出願第６２／１１８，８４１号の優先権の利益を主張する。
低侵襲手術（ＭＩＳ）は、１つのより大きな開口部に代わって外科的処置を行うために複数の小さな切開部の使用を伴っている。小さな切開部は、患者の不快感を低減し、回復時間を改善してきた。小さな切開部はまた、内臓、組織、及び他の対象物の視認性を制限している。
一般的な手術室における外科医及び関連スタッフは、非最適手段を通してＭＩＳまたはロボット手術中に伝達を行う。外科医の手は、しばしば、彼／彼女が、観察及び／または介在／補助する手術室（ＯＲ）スタッフを必要とする、または要求する何かを指示するために容易に手離すことができない手術器具またはコンソール制御手段で占有される。言葉による伝達が、可能な場合に使用されるが（これは、現在のロボット手術システムの場合において困難であり得る）、これは、患者、内視鏡ディスプレイ、ＯＲ等の特定の位置を示す情報豊富な手段ではない。さらに、術野が、一般的に内視鏡によってのみ観察されるＭＩＳ及びロボット手術中に、その視野の外側で起こることは、未知であり、これは、人体、他の器具等との観察されない器具の干渉を引き起こし得る。
患者の転帰を改善し、外科的処置の効率及び安全を向上するために、手術に関わる全ての人員間の伝達を改善するニーズがある。
本開示の態様において、利用者によって装着される拡張現実頭部取り付け機器が、手術環境の画像を取得するように構成された画像取得機器と、手術環境の画像に基づいて拡張された画像を表示するように構成されたレンズと、を含む。眼追跡モジュールが、レンズに結合され、利用者の眼の凝視の方向を判定するように構成され、眼追跡モジュールによって判定された眼の凝視の方向は、拡張された画像を操作するために使用される。
拡張現実頭部取り付け機器はまた、臨床医に音声コマンドを使用することを可能とするマイクロフォンを含む。
画像取得機器は、標準解像度、高解像度、または超高解像度形式において３次元画像を取得し得る。
拡張された画像は、患者の生体データを含み得る。拡張された画像はまた、利用者の眼の凝視の方向によって決定される強調された部分を含み得る。
レンズは、いくつかの実施形態において透明であり得る。他の実施形態において、画像取得機器は、レンズの第１の側部に取り付けられ、モニターが、第１の側部の反対のレンズの第２の側部に取り付けられ得る。
本開示の別の態様において、手術システムが、手術器具と、第１の利用者によって装着されるように構成された第１の拡張現実頭部取り付けディスプレイと、第２の利用者によって装着されるように構成された第２の拡張現実頭部取り付けディスプレイと、を含む。システムはまた、第１の拡張された画像を第１の拡張現実頭部取り付けディスプレイに提供し、第２の拡張された画像を第２の拡張された頭部取り付けディスプレイに提供するように構成されたコントローラを含む。
手術システムにおいて、手術器具は、ロボット手術器具であり得る。
手術システムはまた、ロボットコントローラ及びジェスチャー検出器を含む手術コンソールを含み得る。ジェスチャー検出器は、第１の利用者の手の動きを検出し、手の動きを示す信号をコントローラに提供する。第１の拡張された画像は、コントローラによって提供される仮想表現を含み、コントローラは、信号に基づいて仮想表現を操作する。拡張された画像は、患者の画像または仮想制御パネルである。
第１の拡張現実頭部取り付け機器は、手術環境の画像を取得し、第１の画像を、第１の拡張された画像を生成するために第１の画像を使用するコントローラに提供するように構成された第１の画像取得機器を含む。第１の拡張現実頭部取り付け機器はまた、第１の拡張された画像を受信し表示するように構成された第１のレンズと、第１のレンズに結合され、第１の利用者の眼の凝視の方向を判定するように構成された第１の眼追跡モジュールと、を含む。第１の眼追跡モジュールによって判定された第１の利用者の眼の凝視の方向は、第１の拡張された画像を操作するために使用される。
第２の拡張現実頭部取り付け機器は、手術環境の画像を取得し、第２の画像を、第２の拡張された画像を生成するために第２の画像を使用するコントローラに提供するように構成された第２の画像取得機器を含む。第２の拡張現実頭部取り付け機器はまた、第２の拡張された画像を受信し表示するように構成された第２のレンズと、第２のレンズに結合され、第２の利用者の眼の凝視の方向を判定するように構成された第２の眼追跡モジュールと、を含む。第２の眼追跡モジュールによって判定された第２の利用者の眼の凝視の方向は、第２の拡張された画像を操作するために使用される。
手術システムにおいて、コントローラは、第１の利用者の眼の凝視の方向を第１の追跡モジュールから受信し、第１の利用者の眼の凝視の方向に基づいて第１の拡張された画像の第１の部分を強調し、第２の拡張された画像の第２の部分を強調し、第２の部分は、第１の部分に対応する。
本開示の上記及び他の態様、特徴、ならびに利点は、添付図面と共に以下の詳細な説明に照らしてより明らかになるであろう。
本開示の一実施形態による、手術環境を拡張するシステムのブロック図である。 図１のコントローラのシステムブロック図である。 本開示の複数の実施形態による、拡張現実頭部取り付けディスプレイの斜視図である。 手術環境の代表図である。 図３の拡張現実頭部取り付けディスプレイに示される画像を含む、手術環境の代表図である。 拡張現実頭部取り付けディスプレイ上に示される画像のジェスチャー制御を図示する代表図である。 本開示の一実施形態による、ロボット手術システムのシステムブロック図である。
外科的処置中に１つ以上の手術カメラから取得される画像データは、拡張現実頭部取り付けディスプレイ（ＡＲＨＭＤ）を介して臨床医（例えば、外科医及び／または手術室スタッフ）に提示され得る。ＡＲＨＭＤは、透明表面を臨床医の眼とその周囲との間に配置する。小型ディスプレイが、臨床医が周りを見ると同時に臨床医によって視認される透明表面から反射する。取得された画像データは、臨床医が通常観察するものを拡張すべく、臨床医が見るものと適切に統合する拡張された画像を生成するために、コンピュータによって解釈される。
外科的処置をさらに改善するために、ＡＲＨＭＤは、臨床医の凝視を監視する眼追跡器を含んでもよい。臨床医の凝視を監視することによって、臨床医が探しているアイテムの位置が、判定され、同じ位置を異なる視点から見ている別の人のディスプレイにおいて適切に印付けされ得る。眼追跡はまた、音声認識または他の形式の手を使わない中枢的意思表示（例えば、特定のまばたきパターン）との組み合わせであってもよく、このため臨床医は、アイテムを見て、同じアイテムが示されている誰かに彼／彼女が要求することを示すことができ、他の人は、その視点からアイテムを見ることになる。
ＡＲＨＭＤ及びコンピュータ監視システムを使用することで、臨床医は、その手及び指の動きを監視され、臨床医は、仮想空中制御手段（例えば、スイッチ、ダイヤル、キーボード等）と相互作用し得る。このようにして、滅菌設備を必要とすることなく、コンピュータ監視システムに複雑なコマンドを送信することができる。
臨床医が、ＡＲＨＭＤをまた装着している他の利用者に空間的確定情報を伝達可能であることに加えて、コンピュータ監視システムは、ＯＲ内の臨床医及び／またはスタッフによって視認されるものと同様に、外科医及び／またはスタッフの行動を観察可能であり、その視野に文脈的な適切な情報を差し込み可能である。例えば、外科医が、ロボット上で器具の交換が必要であることを示したとする。ＯＲスタッフは、器具交換に対してそれを配置する必要のある場所の指示に続いて、新しい器具をどこに位置付けるかを示す、そのそれぞれのＡＲＨＭＤのディスプレイ上に自動的に配置される指示手段を有し得る。この形式の行動順補助ディスプレイは、外科医及びＯＲスタッフの能力／経験の状況に適合させることが可能なので、その手術室に適した補助／ガイダンスのレベルのみが提供される。
器具ポートがまた、ロボットまたは従来からのＭＩＳ処置のいずれかにおいて、ＡＲＨＭＤと使用され得る。ポートは、コンピュータ視覚ソフトウェアと組み合わされたカメラであって、カメラによって視認される手術部位の空間的情報を把握可能なカメラを含有することになる。区分化され解釈されたシーン情報は、手術部位の包括的及び定量理解を提供するために全てのポートからのカメラデータを組み合わせることから得られることになる。組み合わされたカメラデータに基づいて監視コンピュータは、外科医及び／またはＯＲスタッフが内視鏡視野を通して見るもの越しに手術部位の包括的理解を有することになる。この情報は、外科医及び／またはＯＲスタッフが、有用性を潜在的に発見し（例えば、器具が内視鏡視野の外側で人体と干渉すること）、手術に関わる各人のＡＲＨＭＤ上に提供される拡張された画像に適切に画像を差し込むことにより、この識見を空間的に正確な方法によって伝達し得るものを決定するために、監視システムによって使用されることになる。
ＡＲＨＭＤ及び器具ポート上のカメラから来るデータに加え、追加の空間認識カメラが、ＯＲ（ロボットアーム上、若しくはブーム上に位置付けられ、またはＯＲテーブルの上の天井等）に提供されてもよく、これはまた、データを提供するコンピュータ視覚ソフトウェアにＯＲテーブル近傍及び患者内の手術部位の包括的全体像を送り込むことが可能である。この方法において、有効な、時間及び安全性に効果的な処置を実施する外科医及びＯＲスタッフにとって役に立つ幅広い範囲の識見が、ＡＲＨＭＤを通して適切に利用可能となり得る。
ＡＲＨＭＤに加え、ＯＲテーブルの周囲に取り付けられたプロジェクタが、ＡＲＨＭＤを装着していない個人にＡＲＨＭＤＳの内容を表示するために使用され得る。これらのプロジェクタは、必要に応じて、ＯＲテーブル領域内の物理的実体の頂部に重ねられる適切な視覚的指示を可能とすることになる。３次元深さ認識カメラを含むことによって、投影される画像は、画像が曲面上に示される場合でさえ、観察者に正確に表されるように調節され得る。
これらの技術の１つ以上は、臨床医に内視鏡の視野の中及び／または外側の不明確な座標及び対象物に関する追加の情報をリアルタイムで提供するために、手術ロボットシステムにおける画像システムの一部として含まれてもよい。
本開示は、外科処置中に拡張された画像をリアルタイムで臨床医に提供するシステム及び方法に関する。本明細書に記載されるシステム及び方法は、手術室スタッフに他の手術室スタッフとの効果的な伝達の機会を与えるために、眼追跡、音声認識、及び／またはハンドジェスチャーの組み合わせを使用し得る。
本明細書に記載される進行中の外科的処置に関するディスプレイ、相互作用型監視、及び自動高機能抽出のシステムは、現状にわたり、ＭＩＳ及びロボット外科的処置に従事する外科医及びＯＲスタッフに対し複数の利益を提供する。眼凝視追跡性を備えたＡＲＨＭＤの装着者は、ＡＲＨＭＤを装着する別の人に、ＯＲまたは手術部位において対象とするものを正確に示すことができる。これは、外科医とＯＲスタッフとの間で信頼性を有して転送される位置中心的情報の詳細な伝達を可能とし、これは、効率及び安全性を向上する。
この通信手法はまた、参加者にその手を滅菌機器から離すことを要求することなく位置中心的通信を可能とし、さらに手術効率を改善する。手／ジェスチャーの追跡／解釈の使用はまた、追加の滅菌適応を必要とすることなく、手術システムに与えられるコマンドを可能とし、さらに処置の効率を改善する。これらのコマンドは、結果として、器具を手術ロボット上で交換するような動作を調整する特定のＡＲＨＭＤの例示的注釈の自動化された開始を可能とする。ガイダンスのレベルが、特定のチーム人員の能力／経験のレベルに調節可能であることは、処置の効率及び安全性を向上する。
手術部位における器具動作の自動的な理解、及び注意を是認する結果の外科医及び／またはＯＲスタッフの後続する通知は、手術の効率及び安全性を改善することになる。例えば、器具と組織との不注意な接触を回避可能である。手術部位の自動的な評価の別の利益は、スポンジ等の配置済み対象物が、注意され、処置の最後にそれらの除去が確認され得ることであり、これによって処置の安全性が向上する。
図１に戻ると、本開示の複数の実施形態による、手術環境を拡張するシステムが、大略的に１００として示される。システム１００は、プロセッサ１０４及びメモリ１０６を有するコントローラ１０２を含む。メモリ１０６は、プロセッサ１０４によって実行される監視ソフトウェアを格納する。システム１００はまた、静止画または動画を記録する画像取得機器１０８、例えば、カメラを含む。１つ以上の画像取得機器１０８は、限定されるものではないが、手術テーブルの上、手術器具上、ロボット手術システムの種々の部分等を含む手術環境における１つ以上の位置に配置され得る。センサ配列１１０が、手術環境に関する情報をコントローラ１０２に提供する。例えば、センサ配列１１０は、脈拍、体温、血圧、血中酸素レベル、心拍等のような患者の生体データを取得可能な生体センサを含む。ディスプレイ１１２が、外科処置中に拡張された画像を臨床医に表示する。いくつかの実施形態において、コントローラ１０２は、無線または有線接続を介して中央サーバ（図示しない）と通信してもよい。中央サーバは、Ｘ線、コンピュータ断層撮影、または核磁気共鳴画像法を使用して取得され得る１人の患者または複数の患者の画像を格納し得る。
１つ以上の画像取得機器１０８によって取得された画像は、ディスプレイ１１２に提供される手術環境の包括的な全体像を提供するために、コントローラ１０２に提供される。包括的な全体像は、１人以上の臨床医を効率的で安全な外科的処置の実施において補助するために、幅広い範囲の識見を提供し得る。
図２は、コントローラ１０２のシステムブロック図を図示する。図２に示されるように、コントローラ１０２は、静止画、動画、またはデータを受信するように構成された送受信器１１４を含む。いくつかの実施形態において、送受信器１１４は、無線通信プロトコルを介して静止画、動画、またはデータを受信するためにアンテナを含んでもよい。静止画、動画、またはデータは、プロセッサ１０４に提供される。プロセッサ１０４は、拡張された画像または動画を生成するために、受信した静止画、動画、またはデータを処理する画像処理フィルタ１１６を含む。画像処理フィルタ１１６は、個別部品、ソフトウェア、またはその組み合わせを使用して実装され得る。拡張された画像または動画は、ディスプレイ１１２に提供される。
図３は、ＡＲＨＭＤ１１８の形式におけるディスプレイ１１２の例を図示する。図３に示されるように、ＡＲＨＭＤ１１８は、装着時に臨床医の眼と手術環境との間に位置する透明レンズディスプレイ１２０を含む。ＡＲＨＭＤ１１８はまた、手術環境の静止画または動画を取得可能な画像取得機器１２２を含む。画像取得機器１２２によって取得された画像は、コントローラ１０２によって解釈され、透明レンズディスプレイ１２０上に表示される前に拡張される。画像取得機器１２２は、標準解像度、高解像度、及び／または超高解像度において３次元画像を取得し得る。３次元画像は、拡張された画像の深さが臨床医にわかるように拡張された画像を形成するために処理される。
ＡＲＨＭＤ１１８はまた、ＡＲＨＭＤ１１８を装着している臨床医の眼の動きを追跡するように構成された眼追跡モジュール１２４を含む。眼追跡モジュール１２４は、眼から反射しカメラまたは任意の他の光学センサによって検出される光を放出する。検出された反射光は、反射の変化から眼の回転を抽出するためにコントローラ１０２によって分析される。いくつかの実施形態において、コントローラ１０２は、経時的に追跡するための特徴として角膜反射及び瞳孔中心を使用してもよい。他の実施形態において、角膜の正面及びレンズの背面からの反射が眼の動きを追跡するために使用される。さらに他の実施形態において、眼の内側からの特徴、例えば、網膜血管が眼の回転として追従される。これらの眼追跡の方法は、臨床医の凝視を追跡することができるため、コントローラ１０２は、臨床医が対象としている位置を判定し得る。眼追跡モジュール１２４はまた、まばたきパターン等の手を使わない中枢的意思表示を解釈可能である。
ＡＲＨＭＤ１１８はまた、以下により詳細に記載されることになる臨床医からの音声コマンドを受信するマイクロフォン１２６を含んでもよい。
図４は、本明細書に記載される複数の実施形態を利用する手術環境を図示する。図４に見られるように、手術環境は、ＡＲＨＭＤ１１８ａを装着している外科医及び別のＡＲＨＭＤ１１８ｂを装着している手術室（ＯＲ）スタッフ人員を含む。外科医は、手術コンソール１２８を使用してロボット手術器具１２６を操作する。ロボット手術器具１２６は、任意の公知のロボット手術器具であってもよい。手術コンソール１２８は、ロボット手術器具１２６にコマンドを送るように構成されたロボットコントローラ１３０を含む。ロボットコントローラ１３０は、任意の従来の方法を介してロボット手術器具１２６にコマンドを送信し得る。
手術コンソールはまた、臨床医のハンドジェスチャーを検出するように構成されたジェスチャー検出器１３２を含む。
図５は、ＡＲＨＭＤ１１８ａ及び１１８ｂに示される画像を含む手術環境を図示する。図５に示されるように、ＡＲＨＭＤ１１８ａは、手術器具１３６上に配置された画像取得機器（例えば、画像取得機器１０８）によって取得された患者の拡張された画像１３４を描画する。この例において、画像１３４は、低侵襲外科的処置中の患者の腹腔鏡視野である。処置中、外科医は、手術器具１３６が交換される必要があり、または針若しくはクリップカートリッジをもうすぐ使い切るであろうことに気付き得る。例えば、眼追跡モジュール１２４は、画面１３８への外科医の凝視を追跡し、特に、眼追跡モジュール１２４は、器具状態を示す画面１３８の部分１４０への外科医の凝視を追跡することになる。眼追跡モジュール１２４は、それから、拡張された画像において部分１４０を強調することになる信号をコントローラ１０２に送信し、強調部分１４０を含む拡張された画像を両ＡＲＨＭＤ１１８ａ及び１１８ｂに提供する。ＡＲＨＭＤ１１８ｂを装着している人の視点からの拡張された画像を表示するＡＲＨＭＤ１１８ｂ上に示される拡張された画像１４２において、画面１３８は、手術器具１３６が交換される必要があり、または針若しくはクリップカートリッジをもうすぐ使い切るであろうことを示す強調部分１４０を有することになる。いくつかの実施形態において、画像１４２は、ＯＲスタッフ人員の見え方から手術器具１３６の画像１４４を強調することになるので、ＯＲスタッフ人員は、手術器具１３６の全てまたは一部を交換する必要性を知らされることになる。ロボット手術器具１２６を操作する外科医が、しばしば、非滅菌環境にいるので、ＡＲＨＭＤ１１８ａを使用することは、ＯＲスタッフ人員との容易に伝達を行うことを可能とし、ＯＲスタッフ人員に新しい針若しくはクリップカートリッジまたは手術器具が必要とされ得ることを気付かせる機会を与える。
いくつかの実施形態において、外科医はまた、特定のアイテムを見つけるためにＯＲを見渡す。一旦、外科医の凝視がＡＲＨＭＤ１１８ａに示される拡張された画像内のアイテムに落ち着くと、音声コマンド、まばたきパターン、または任意の他の形式のコマンドを使用して、ＯＲスタッフ人員のＡＲＭＨＤ１１８ｂが、その個々の見え方からＡＲＭＨＤ１１８ｂ上に示される拡張された画像内のアイテムを強調することになる。
他の実施形態において、ＡＲＨＭＤ１１８ａ及び１１８ｂは、手術部位の包括的及び定量理解を提供するために、画像取得機器１０８の全てからの画像データを組み合わせることから得られた拡張された画像をコントローラ１０２から受信する。組み合わされた画像データに基づいて、コントローラ１０２は、外科医及び／またはＯＲスタッフが内視鏡視野を通して見るもの越しに手術部位の包括的理解を有することになる。この情報は、外科医及び／またはＯＲスタッフが、有用性を潜在的に発見し（例えば、器具が内視鏡視野の外側で人体と干渉すること）、ＡＲＨＭＤ１１８ａまたは１１８ｂ上に提供される拡張された画像において、この識見を空間的に正確な方法によって伝達し得るものを決定するために、コントローラ１０２によって使用されることになる。
図６は、ＡＲＨＭＤ１１８ａを装着している臨床医とコントローラ１０２との間のより詳細な相互作用を提供するために手及び指のジェスチャーが監視される手術環境を図示する。コントローラ１０２は、事前に取得された画像１４６を取得し、拡張された画像１４８において画像１４６の仮想表現１５０を表示する。臨床医は、ＡＲＨＭＤ１１８ａ上で仮想表現１５０を視認し、その手及び／または指を使用し、臨床医は、仮想表現１５０を操作することができる。特に、ジェスチャー検出器１３２は、外科医の手及び／または指の動きを検出し、この動きを示す信号をコントローラ１０２に送信する。コントローラ１０２は、仮想表現１５０を操作するために、仮想表現１５０と共に検出された手及び／または指の動きを空間的に分析する。例えば、臨床医は、画像を拡大するために指をつまむ、または画像を縮小するために指を離すことができる。臨床医は、画像を強調するために仮想表現１５０内の特定の画像を指定することができる。
いくつかの実施形態において、仮想制御パネルが、ＡＲＨＭＤ１１８ａ上に示されてもよく、このため臨床医は、仮想／空中制御手段、例えば、限定されるものではないが、電気手術器具若しくは電気機械器具用のスイッチまたはダイヤル、あるいは仮想キーボードと相互作用を行うことができる。仮想／空中制御手段を使用することは、ＯＲにおいて必要とされる滅菌設備の数を低減する。上記のように、ジェスチャー検出器１３２は、外科医の手及び／または指の動きを検出し、この動きを示す信号をコントローラ１０２に送信することになる。コントローラ１０２は、臨床医の手及び／または指の動きに基づいてコマンドを実施するために、仮想／空中制御手段と共に検出された手及び／または指の動きを空間的に分析することになる。
図７に示されるように、ロボット手術システム２００は、手術室の隣にある、または遠隔場所に位置する１つ以上のコンソール２０２と用いられ得る。この実例において、臨床医または看護師の１つのチームが、患者に手術の用意をさせ、１つ以上の器具２０４を有するロボット手術システム２００を設定し、一方で別の臨床医（または臨床医のグループ）が、ロボット手術システムを介して器具を遠隔制御する。認められ得るように、高い技術を有する臨床医が、彼／彼女の遠隔コンソールから離れることなく複数の場所において複数の手術を実施可能であり、これは、経済的利点及び患者または一連の患者に対する利益の両方を可能とする。
手術システム２００のロボットアーム２０６は、一般的にコントローラ２１０によって一対のマスターハンドル２０８に結合される。コントローラ２１０は、コンソール２０２と一体化されてもよく、または手術室内に独立型機器として提供されてもよい。ハンドル２０６は、ロボットアーム２０６に取設された任意の形式の手術器具２０４（例えば、プローブ、エンドエフェクタ、把持器、ナイフ、ハサミ等）の作用端の対応する動きを生み出すために、臨床医によって動かされ得る。例えば、手術器具２０４は、画像取得機器を含むプローブであってもよい。プローブは、外科処置中に患者の内側の対象領域の画像を取得するために患者の体内に挿入される。画像処理フィルタ１１６の１つ以上が、画像がディスプレイ２１２上で臨床医に表示される前にコントローラ２１０によって、取得された画像に適用される。
マスターハンドル２０８の動きは、作用端が、臨床医の手の操作によって実施される動きとは異なる、つまり小さいまたは大きい、対応する動きを有するように拡縮され得る。倍率またはギヤ比は、オペレータが手術器具２０４の作用端の分解能を制御可能なように調節可能であり得る。
手術システム２００の操作中、マスターハンドル２０８は、ロボットアーム２０６及び／または手術器具２０４の対応する動きを生み出すために臨床医によって操作される。マスターハンドル２０８は、信号をコントローラ２０８に提供し、コントローラ２０８が、その後、対応する信号を１つ以上の駆動モータ２１４に提供する。１つ以上の駆動モータ２１４は、ロボットアーム２０６及び／または手術器具２０４を動かすために、ロボットアーム２０６に結合される。
マスターハンドル２０８は、種々の組織パラメータまたは状態、例えば、手術による組織抵抗、切断またはさもなければ処置、組織上への器具による圧力、組織温度、組織インピーダンス等に関するフィードバックを臨床医に提供するために種々の触覚２１６を含んでもよい。認められ得るように、この触覚２１６は、臨床医に実際の手術状態を模擬する増強された触覚のフィードバックを提供する。触覚２１６は、振動モータ、電気活性ポリマー、圧電素子、静電素子、亜音速音響波表面作動素子、リバース電子振動または利用者に触覚のフィードバックを提供可能な任意の他の素子を含み得る。マスターハンドル２０８はまた、繊細な組織操作または処置に対する臨床医の能力をさらに向上すべく、実際の手術状態を擬態するために、種々の異なるアクチュエータ２１８を含み得る。
本明細書に記載される複数の実施形態において、ＡＲＨＭＤ１１８は、透明レンズディスプレイ１２０を含む。ただし、透明ディスプレイを有しないＡＲＨＭＤもまた、本明細書に記載される実施形態で使用され得る。例えば、ＡＲＨＭＤは、１つ以上のレンズを有し、各レンズが、手術環境の画像を取得するためにレンズの正面に取設されたカメラを含んでいる。一旦、画像が、本明細書に記載された画像処理技術の１つ以上を受けると、処理された、つまり拡張された画像が、利用者の視野を妨げるレンズの背面に取設されたモニター上に表示される。したがって、取得された画像は、利用者に表示される前に操作され得る。
本明細書に記載された複数の実施形態は、開示の例であり、種々の形式において具体化され得る。本明細書に記載された特定の構造的詳細及び機能的詳細は、限定的に解釈されるべきではなく、請求項の基礎として、また実質的に任意の適切な詳細構造において本開示を多様に用いるために当業者に説明するための代表的な基礎として解釈されるべきである。同様の参照符号は、図の説明を通して類似または同一の要素を意味する。
「一実施形態において」、「複数の実施形態において」、「いくつかの実施形態において」、または「他の実施形態において」の語句は、本開示による同一または異なる実施形態の１つ以上を各々意味し得る。「ＡまたはＢ」の形式の語句は、「（Ａ）、（Ｂ）、または（Ａ及びＢ）」を意味する。「Ａ、Ｂ、またはＣの少なくとも１つ」の形式の語句は、「（Ａ）、（Ｂ）、（Ｃ）、（Ａ及びＢ）、（Ａ及びＣ）、（Ｂ及びＣ）、または（Ａ、Ｂ、及びＣ）」を意味する。臨床医は、臨床医または医療処置を実施する任意の医療従事者、例えば、医師、看護師、技師、医療助手等）を意味し得る。
本明細書に記載されたシステムはまた、種々の情報を受信し、出力を生成すべく受信した情報を変換するために、１つ以上のコントローラを利用してもよい。コントローラは、任意の形式のコンピュータ機器、計算回路、またはメモリ内に格納される一連の命令を実行可能な任意の形式のプロセッサ若しくは処理回路を含み得る。コントローラは、マルチプロセッサ及び／またはマルチコア中央処理装置（ＣＰＵ）を含んでもよく、任意の形式のプロセッサ、例えば、マイクロプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ等を含んでもよい。コントローラはまた、データ及び／または一連の命令を実施するアルゴリズムを格納するメモリを含み得る。
任意の本明細書に記載された方法、プログラム、アルゴリズム、またはコードは、プログラム言語またはコンピュータプログラムに変換、または表現され得る。「プログラム言語」及び「コンピュータプログラム」は、コンピュータに対する特定の命令に使用される任意の言語を含み、（限定されるものではないが）アセンブラ、Ｂａｓｉｃ、バッチファイル、ＢＣＰＬ、Ｃ、Ｃ＋＋、Ｄｅｌｐｈｉ、Ｆｏｒｔｒａｎ、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、機械語、オペレーティングシステムコマンド言語、Ｐａｓｃａｌ、Ｐｅｒｌ、ＰＬ１、スクリプト言語、ＶｉｓｕａｌＢａｓｉｃ、自身がプログラムを明示するメタ言語、ならびに全ての第１世代、第２世代、第３世代、第４世代、及び第５世代コンピュータ言語である、これらの言語及びその派生言語を含む。またデータベース及び他のデータスキーマ、ならびに任意の他のメタ言語が含まれる。逐次解釈、コンパイルされたか、またはコンパイル及び逐次解釈手法の両方を使用する言語間は区別されない。同様に、コンパイルされたものと、プログラムのソースバージョンとの間は区別されない。したがって、プログラム言語が１つ以上の状態（ソース、コンパイル済み、オブジェクト、またはリンク）において存在可能なプログラムに対する参照は、任意の及び全てのそのような状態に対する参照である。プログラムに対する参照は、実際の命令及び／またはそれらの命令の目的を包含し得る。
任意の本明細書に記載された方法、プログラム、アルゴリズム、またはコードは、１つ以上の機械可読媒体またはメモリ上に含有され得る。「メモリ」の語は、プロセッサ、またはデジタル処理装置のような機械によって可読な形式の情報を提供（例えば、格納及び／または送信）する機構を含み得る。例えば、メモリは、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリ機器、または任意の他の揮発性若しくは不揮発性メモリ記憶機器を含み得る。そこに含有されるコードまたは命令は、搬送波信号、赤外線信号、デジタル信号、及び他の同様の信号によって表現され得る。
前述の説明が、本開示の例示のみであることが理解されるべきである。種々の代替及び変形が、本開示から逸脱することなく当業者によって想到され得る。例えば、本明細書に記載された任意の拡張された画像は、臨床医に表示されるように、単一の拡張された画像に組み合わされ得る。したがって、本開示は、全てのこのような代替、変形及び変化を包含するであろう。添付図面を参照して説明された実施形態は、本開示の一例を実証するためだけに提示される。上記のもの及び／または添付の請求項から実質的に異なるものではない他の要素、ステップ、方法及び技術はまた、本開示の範囲内であろう。

Claims (17)

  1. 利用者によって装着される拡張現実頭部取り付け機器であって、
    手術環境の画像を取得するように構成された画像取得機器と、
    前記手術環境の前記画像に基づいて、拡張された画像を表示するように構成されたレンズと、
    レンズディスプレイに結合され、前記利用者の眼の凝視の方向を判定するように構成された眼追跡モジュールと、を備え、
    前記眼追跡モジュールによって判定された前記眼の前記凝視の前記方向は、前記拡張された画像を操作するために使用される、拡張現実頭部取り付け機器。
  2. マイクロフォンをさらに備える、請求項１に記載の拡張現実頭部取り付け機器。
  3. 前記画像取得機器は、３次元画像を取得する、請求項１に記載の拡張現実頭部取り付け機器。
  4. 前記拡張された画像は、患者の生体データを含む、請求項１に記載の拡張現実頭部取り付け機器。
  5. 前記拡張された画像は、前記利用者の前記眼の前記凝視によって決定される強調された部分を含む、請求項１に記載の拡張現実頭部取り付け機器。
  6. 前記レンズは、透明である、請求項１に記載の拡張現実頭部取り付け機器。
  7. 前記画像取得機器は、前記レンズの第１の側部に取り付けられ、モニターは、前記第１の側部の反対側の前記レンズの第２の側部に取り付けられる、請求項１に記載の拡張現実頭部取り付け機器。
  8. 手術器具と、
    第１の利用者によって装着されるように構成された第１の拡張現実頭部取り付けディスプレイと、
    第２の利用者によって装着されるように構成された第２の拡張現実頭部取り付けディスプレイと、
    第１の拡張された画像を前記第１の拡張現実頭部取り付けディスプレイに提供し、第２の拡張された画像を前記第２の拡張現実頭部取り付けディスプレイに提供するように構成されたコントローラと、を備える手術システム。
  9. 前記手術器具は、ロボット手術器具である、請求項８に記載の手術システム。
  10. ロボットコントローラ及びジェスチャー検出器を含む手術コンソールをさらに備える、請求項９に記載の手術システム。
  11. 前記ジェスチャー検出器は、前記第１の利用者の手の動きを検出し、前記手の動きを示す信号を前記コントローラに提供するように構成される、請求項１０に記載の手術システム。
  12. 前記第１の拡張された画像は、前記コントローラによって提供される仮想表現を含み、前記コントローラは、前記信号に基づいて前記仮想表現を操作する、請求項１１に記載の手術システム。
  13. 前記仮想表現は、患者の画像である、請求項１２に記載の手術システム。
  14. 前記仮想表現は、仮想制御パネルである、請求項１２に記載の手術システム。
  15. 前記第１の拡張現実頭部取り付け機器は、
    手術環境の画像を取得し、前記第１の画像を前記コントローラに提供するように構成された第１の画像取得機器であって、前記コントローラは、前記第１の画像を使用して、前記第１の拡張された画像を生成する、第１の画像取得機器と、
    前記第１の拡張された画像を受信し表示するように構成された第１のレンズと、
    前記第１のレンズに結合され、前記第１の利用者の眼の凝視の方向を判定するように構成された第１の眼追跡モジュールと、を含み、
    前記第１の眼追跡モジュールによって判定された前記第１の利用者の前記眼の前記凝視の前記方向を使用して、前記第１の拡張された画像を操作する、請求項８に記載の手術システム。
  16. 前記第２の拡張現実頭部取り付け機器は、
    手術環境の画像を取得し、前記第２の画像を前記コントローラに提供するように構成された第２の画像取得機器であって、前記コントローラは、前記第２の画像を使用して、前記第２の拡張された画像を生成する、第２の画像取得機器と、
    前記第２の拡張された画像を受信し表示するように構成された第２のレンズと、
    前記第２のレンズに結合され、前記第２の利用者の眼の凝視の方向を判定するように構成された第２の眼追跡モジュールと、を含み、
    前記第２の眼追跡モジュールによって判定された前記第２の利用者の前記眼の前記凝視の前記方向を使用して、前記第２の拡張された画像を操作する、請求項１５に記載の手術システム。
  17. 前記コントローラは、前記第１の利用者の前記眼の前記凝視の前記方向を前記第１の追跡モジュールから受信し、前記第１の利用者の前記眼の前記凝視の前記方向に基づいて前記第１の拡張された画像の第１の部分を強調し、前記第２の拡張された画像の第２の部分を強調し、前記第２の部分は、前記第１の部分に対応する、請求項１６に記載の手術システム。

JP2017542077A 2015-02-20 2016-01-22 手術室及び手術部位認識 Expired - Fee Related JP6709796B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562118841P 2015-02-20 2015-02-20
US62/118,841 2015-02-20
PCT/US2016/014419 WO2016133644A1 (en) 2015-02-20 2016-01-22 Operating room and surgical site awareness

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019234305A Division JP2020049296A (ja) 2015-02-20 2019-12-25 手術室及び手術部位認識

Publications (2)

Publication Number Publication Date
JP2018511359A true JP2018511359A (ja) 2018-04-26
JP6709796B2 JP6709796B2 (ja) 2020-06-17

Family

ID=56689022

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017542077A Expired - Fee Related JP6709796B2 (ja) 2015-02-20 2016-01-22 手術室及び手術部位認識
JP2019234305A Withdrawn JP2020049296A (ja) 2015-02-20 2019-12-25 手術室及び手術部位認識
JP2021063507A Withdrawn JP2021100690A (ja) 2015-02-20 2021-04-02 手術室及び手術部位認識

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2019234305A Withdrawn JP2020049296A (ja) 2015-02-20 2019-12-25 手術室及び手術部位認識
JP2021063507A Withdrawn JP2021100690A (ja) 2015-02-20 2021-04-02 手術室及び手術部位認識

Country Status (5)

Country Link
US (2) US10908681B2 (ja)
EP (1) EP3258876B1 (ja)
JP (3) JP6709796B2 (ja)
CN (2) CN113017836A (ja)
WO (1) WO2016133644A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021510110A (ja) * 2018-01-10 2021-04-15 コヴィディエン リミテッド パートナーシップ 外科用ポートの配置のためのガイダンス
WO2021201434A1 (ko) * 2020-04-01 2021-10-07 고려대학교 산학협력단 증강 현실을 이용한 수술 가이드 방법 및 장치
JP2022507478A (ja) * 2018-11-14 2022-01-18 スン チュン イム 拡張現実を利用した手術補助装置

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11561762B2 (en) * 2011-08-21 2023-01-24 Asensus Surgical Europe S.A.R.L. Vocally actuated surgical control system
US10866783B2 (en) * 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10761599B2 (en) * 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
WO2017114834A1 (en) * 2015-12-29 2017-07-06 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
CN108882854B (zh) 2016-03-21 2022-05-24 华盛顿大学 3d医学图像的虚拟现实或增强现实可视化
IL310060A (en) * 2016-05-09 2024-03-01 Magic Leap Inc Augmented reality systems and methods for user health analysis
US11071596B2 (en) 2016-08-16 2021-07-27 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
US20180082480A1 (en) * 2016-09-16 2018-03-22 John R. White Augmented reality surgical technique guidance
CN108289600A (zh) * 2016-10-03 2018-07-17 威博外科公司 用于机器人外科手术的沉浸式三维显示器
CN109996509B (zh) * 2016-11-11 2023-04-14 直观外科手术操作公司 带有基于外科医生技能水平的器械控制的远程操作手术系统
US10568701B2 (en) 2016-12-19 2020-02-25 Ethicon Llc Robotic surgical system with virtual control panel for tool actuation
US10918445B2 (en) 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
KR102662173B1 (ko) * 2017-01-11 2024-04-30 매직 립, 인코포레이티드 의료 보조기
EP3574361B1 (en) * 2017-01-30 2022-04-20 Alcon Inc. Systems and method for augmented reality ophthalmic surgical microscope projection
AU2018236172B2 (en) * 2017-03-13 2021-03-04 Zimmer, Inc. Augmented reality diagnosis guidance
US9892564B1 (en) * 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
US11589937B2 (en) 2017-04-20 2023-02-28 Intuitive Surgical Operations, Inc. Systems and methods for constraining a virtual reality surgical system
EP3318214B1 (en) 2017-04-21 2020-04-15 Siemens Healthcare GmbH Medical imaging device with smartglasses and method for supporting a person using a medical imaging device
CN110914789A (zh) * 2017-05-16 2020-03-24 皇家飞利浦有限公司 用于协同介入的增强现实
US10678338B2 (en) 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
EP3700457A4 (en) 2017-10-23 2021-11-17 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PRESENTATION OF AUGMENTED REALITY ON A DISPLAY OF A TELEOPERATION SYSTEM
WO2019091875A1 (en) * 2017-11-07 2019-05-16 Koninklijke Philips N.V. Augmented reality triggering of devices
CN111448535A (zh) * 2017-11-07 2020-07-24 皇家飞利浦有限公司 对象的增强现实拖放
US11857152B2 (en) * 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
CN108392269B (zh) * 2017-12-29 2021-08-03 广州布莱医疗科技有限公司 一种手术辅助方法及手术辅助机器人
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
EP3801245A4 (en) * 2018-06-04 2022-03-02 Bard Access Systems, Inc. SYSTEMS AND METHODS FOR ANATOMY VISUALIZATION, MEDICAL DEVICE LOCATION, OR MEDICAL DEVICE POSITIONING
EP3621086A1 (en) * 2018-09-06 2020-03-11 Koninklijke Philips N.V. Augmented reality user guidance during examinations or interventional procedures
US11204677B2 (en) * 2018-10-22 2021-12-21 Acclarent, Inc. Method for real time update of fly-through camera placement
JP7000364B2 (ja) * 2019-01-29 2022-01-19 ファナック株式会社 ロボットシステム
EP3689229A1 (en) * 2019-01-30 2020-08-05 DENTSPLY SIRONA Inc. Method and system for visualizing patient stress
CN109875691B (zh) * 2019-03-16 2021-04-06 孔祥瑞 面向微创手术体表投影调整方法的轴调整方法
EP4307092A3 (en) * 2019-05-29 2024-04-17 Intuitive Surgical Operations, Inc. Operating mode control systems and methods for a computer-assisted surgical system
US20200405402A1 (en) * 2019-06-27 2020-12-31 Covidien Lp Touchless button control of surgical instrument using augmented reality
US10758309B1 (en) 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
WO2021016429A1 (en) * 2019-07-25 2021-01-28 Tornier, Inc. Positioning a camera for perspective sharing of a surgical site
US11029753B2 (en) 2019-11-05 2021-06-08 XRSpace CO., LTD. Human computer interaction system and human computer interaction method
CN110989203A (zh) * 2019-11-28 2020-04-10 四川泛华航空仪表电器有限公司 一种360度视野的眼镜及其使用方法
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
EP4076259A4 (en) * 2019-12-17 2023-09-20 Covidien LP ROBOTIC SURGICAL SYSTEMS WITH USER INTERVENTION MONITORING
JP2023511407A (ja) 2020-01-22 2023-03-17 フォトニック メディカル インク． 開放視野マルチモード深度検知校正デジタルルーペ
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11945123B2 (en) * 2020-04-28 2024-04-02 Altec Industries, Inc. Head mounted display for remote operation of machinery
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
WO2021226134A1 (en) * 2020-05-04 2021-11-11 Raytrx, Llc Surgery visualization theatre
US11196944B2 (en) * 2020-05-06 2021-12-07 At&T Intellectual Property I, L.P. System for infinite windows with optical disparity and depth resolution
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11922581B2 (en) * 2020-05-08 2024-03-05 Coviden Lp Systems and methods of controlling an operating room display using an augmented reality headset
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11877792B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Smart energy combo control options
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11883052B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International End effector updates
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11883022B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US20220104694A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Control of a display outside the sterile field from a device within the sterile field
US20220104896A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Interactive information overlay on multiple surgical displays
US11911030B2 (en) 2020-10-02 2024-02-27 Cilag Gmbh International Communication capability of a surgical device with component
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
WO2022130395A1 (en) * 2020-12-15 2022-06-23 Point 2 Point Production Ltd. A remote medical proctoring system and method thereof
CN116867456A (zh) * 2021-03-26 2023-10-10 C·R·巴德股份有限公司 医疗设备投影系统
WO2023165568A1 (en) * 2022-03-02 2023-09-07 Fu Jen Catholic University Surgical navigation system and method thereof
EP4276586A1 (en) * 2022-05-12 2023-11-15 Koninklijke Philips N.V. Providing information about an area of interest
US11794359B1 (en) 2022-07-28 2023-10-24 Altec Industries, Inc. Manual operation of a remote robot assembly
US11839962B1 (en) 2022-07-28 2023-12-12 Altec Industries, Inc. Rotary tool for remote power line operations
US11697209B1 (en) 2022-07-28 2023-07-11 Altec Industries, Inc. Coordinate mapping for motion control
US11689008B1 (en) 2022-07-28 2023-06-27 Altec Industries, Inc. Wire tensioning system
US11742108B1 (en) 2022-07-28 2023-08-29 Altec Industries, Inc. Operation and insulation techniques
US11749978B1 (en) 2022-07-28 2023-09-05 Altec Industries, Inc. Cross-arm phase-lifter
US11717969B1 (en) 2022-07-28 2023-08-08 Altec Industries, Inc. Cooperative high-capacity and high-dexterity manipulators
US11660750B1 (en) 2022-07-28 2023-05-30 Altec Industries, Inc. Autonomous and semi-autonomous control of aerial robotic systems
EP4345838A1 (en) * 2022-09-29 2024-04-03 Koninklijke Philips N.V. Visualizing an indication of a location in a medical facility

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000231625A (ja) * 1999-02-12 2000-08-22 Sanyo Electric Co Ltd 指示情報伝達装置
JP2001104331A (ja) * 1999-10-06 2001-04-17 Olympus Optical Co Ltd 医療用顔面装着型映像表示装置
JP2004538538A (ja) * 2000-10-05 2004-12-24 シーメンス コーポレイト リサーチ インコーポレイテツド 強化現実可視化付きの、手術中にイメージガイドされる神経外科手術法及び手術用装置
US20050206583A1 (en) * 1996-10-02 2005-09-22 Lemelson Jerome H Selectively controllable heads-up display system
JP2006102495A (ja) * 2004-10-01 2006-04-20 General Electric Co <Ge> 外科手術室の情報ディスプレイの注視検出及びユーザの制御用優先順位付けのための方法及び装置
JP2011237987A (ja) * 2010-05-10 2011-11-24 Olympus Corp 操作入力装置およびマニピュレータシステム
US20130021374A1 (en) * 2011-07-20 2013-01-24 Google Inc. Manipulating And Displaying An Image On A Wearable Computing System
JP2013510673A (ja) * 2009-11-13 2013-03-28 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 低侵襲外科システムにおけるハンドジェスチャー制御の方法および装置
US20130169560A1 (en) * 2012-01-04 2013-07-04 Tobii Technology Ab System for gaze interaction
US20130267838A1 (en) * 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
US20130342572A1 (en) * 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
WO2014103193A1 (ja) * 2012-12-27 2014-07-03 ソニー株式会社 内視鏡下手術支援システム及び画像制御方法
JP2014155207A (ja) * 2013-02-14 2014-08-25 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20140275760A1 (en) * 2013-03-13 2014-09-18 Samsung Electronics Co., Ltd. Augmented reality image display system and surgical robot system comprising the same
WO2014145166A2 (en) * 2013-03-15 2014-09-18 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
JP2015019678A (ja) * 2013-07-16 2015-02-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3065702B2 (ja) * 1991-04-23 2000-07-17 オリンパス光学工業株式会社 内視鏡システム
US5836869A (en) * 1994-12-13 1998-11-17 Olympus Optical Co., Ltd. Image tracking endoscope system
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
JP5530234B2 (ja) * 2010-03-29 2014-06-25 オリンパス株式会社 操作入力装置およびマニピュレータシステム
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
RU2621488C2 (ru) * 2013-02-14 2017-06-06 Сейко Эпсон Корпорейшн Укрепляемый на голове дисплей и способ управления для укрепляемого на голове дисплея
US9285587B2 (en) * 2013-03-15 2016-03-15 Inrix, Inc. Window-oriented displays for travel user interfaces
US10405786B2 (en) * 2013-10-09 2019-09-10 Nedim T. SAHIN Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
US9936916B2 (en) * 2013-10-09 2018-04-10 Nedim T. SAHIN Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a portable data collection device
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
EP3310042B1 (en) * 2015-06-12 2021-12-15 Sony Interactive Entertainment Inc. Control device, control method, and program

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206583A1 (en) * 1996-10-02 2005-09-22 Lemelson Jerome H Selectively controllable heads-up display system
JP2000231625A (ja) * 1999-02-12 2000-08-22 Sanyo Electric Co Ltd 指示情報伝達装置
JP2001104331A (ja) * 1999-10-06 2001-04-17 Olympus Optical Co Ltd 医療用顔面装着型映像表示装置
JP2004538538A (ja) * 2000-10-05 2004-12-24 シーメンス コーポレイト リサーチ インコーポレイテツド 強化現実可視化付きの、手術中にイメージガイドされる神経外科手術法及び手術用装置
JP2006102495A (ja) * 2004-10-01 2006-04-20 General Electric Co <Ge> 外科手術室の情報ディスプレイの注視検出及びユーザの制御用優先順位付けのための方法及び装置
JP2013510673A (ja) * 2009-11-13 2013-03-28 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 低侵襲外科システムにおけるハンドジェスチャー制御の方法および装置
JP2011237987A (ja) * 2010-05-10 2011-11-24 Olympus Corp 操作入力装置およびマニピュレータシステム
US20130021374A1 (en) * 2011-07-20 2013-01-24 Google Inc. Manipulating And Displaying An Image On A Wearable Computing System
US20130169560A1 (en) * 2012-01-04 2013-07-04 Tobii Technology Ab System for gaze interaction
US20130267838A1 (en) * 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
US20130342572A1 (en) * 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
WO2014103193A1 (ja) * 2012-12-27 2014-07-03 ソニー株式会社 内視鏡下手術支援システム及び画像制御方法
JP2014155207A (ja) * 2013-02-14 2014-08-25 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20140275760A1 (en) * 2013-03-13 2014-09-18 Samsung Electronics Co., Ltd. Augmented reality image display system and surgical robot system comprising the same
WO2014145166A2 (en) * 2013-03-15 2014-09-18 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
JP2015019678A (ja) * 2013-07-16 2015-02-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021510110A (ja) * 2018-01-10 2021-04-15 コヴィディエン リミテッド パートナーシップ 外科用ポートの配置のためのガイダンス
US11806085B2 (en) 2018-01-10 2023-11-07 Covidien Lp Guidance for placement of surgical ports
JP2022507478A (ja) * 2018-11-14 2022-01-18 スン チュン イム 拡張現実を利用した手術補助装置
JP7014935B2 (ja) 2018-11-14 2022-02-01 スン チュン イム 拡張現実を利用した手術補助装置
WO2021201434A1 (ko) * 2020-04-01 2021-10-07 고려대학교 산학협력단 증강 현실을 이용한 수술 가이드 방법 및 장치
KR20210122575A (ko) * 2020-04-01 2021-10-12 고려대학교 산학협력단 증강 현실을 이용한 수술 가이드 방법 및 장치
KR20210138553A (ko) * 2020-04-01 2021-11-19 고려대학교 산학협력단 증강 현실을 이용한 수술 가이드 방법 및 장치
KR102378114B1 (ko) * 2020-04-01 2022-03-24 고려대학교 산학협력단 증강 현실을 이용한 수술 가이드 방법 및 장치
KR102425063B1 (ko) * 2020-04-01 2022-07-27 고려대학교 산학협력단 증강 현실을 이용한 수술 가이드 방법 및 장치

Also Published As

Publication number Publication date
US10908681B2 (en) 2021-02-02
EP3258876A4 (en) 2018-12-26
CN113017836A (zh) 2021-06-25
JP2020049296A (ja) 2020-04-02
JP6709796B2 (ja) 2020-06-17
US20210157403A1 (en) 2021-05-27
EP3258876A1 (en) 2017-12-27
CN107249497B (zh) 2021-03-16
WO2016133644A1 (en) 2016-08-25
US20180032130A1 (en) 2018-02-01
EP3258876B1 (en) 2023-10-18
CN107249497A (zh) 2017-10-13
JP2021100690A (ja) 2021-07-08

Similar Documents

Publication Publication Date Title
US20210157403A1 (en) Operating room and surgical site awareness
US20220336078A1 (en) System and method for tracking a portion of the user as a proxy for non-monitored instrument
US20210077220A1 (en) Systems and methods for removing occluding objects in surgical images and/or video
CN106535805B (zh) 用于机器人手术系统的增强手术现实环境
JP2022162123A (ja) 外科的処置アトラスを用いた手術システムの構成
CN117717411A (zh) 在计算机辅助远程操作外科手术中的可重新配置的显示器
US11960645B2 (en) Methods for determining if teleoperation should be disengaged based on the user&#39;s gaze
Staub et al. Human-computer interfaces for interaction with surgical tools in robotic surgery
Mylonas et al. Gaze-contingent control for minimally invasive robotic surgery
Breedveld Observation, manipulation, and eye-hand coordination problems in minimally invasive surgery
US10973595B2 (en) Device and method for controlling a system comprising an imaging modality
Mattos et al. Microsurgery systems
Kogkas A gaze-contingent framework for perceptually-enabled applications in healthcare
EP4143844A1 (en) System and method for tracking a portion of the user as a proxy for non-monitored instrument
JP2024513991A (ja) トリガイベントに基づいて術野のディスプレイオーバーレイを変更するためのシステム及び方法
Quach Application of gestural guided continuum robots in orthopaedic surgery
WO2024020223A1 (en) Changing mode of operation of an instrument based on gesture detection
CN117480569A (zh) 作为非监测器械的代理来跟踪用户的一部分的系统和方法
WO2024049942A1 (en) Techniques for updating a registration transform between an extended-reality system and a computer-assisted device
JP2024514640A (ja) 画面上及び画面外で発生する混合された要素及びアクションを表示するレンダリングされた要素で直接視覚化される混合

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200525

R150 Certificate of patent or registration of utility model

Ref document number: 6709796

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees