JP2022145863A - インジケータシステム - Google Patents

インジケータシステム Download PDF

Info

Publication number
JP2022145863A
JP2022145863A JP2022127239A JP2022127239A JP2022145863A JP 2022145863 A JP2022145863 A JP 2022145863A JP 2022127239 A JP2022127239 A JP 2022127239A JP 2022127239 A JP2022127239 A JP 2022127239A JP 2022145863 A JP2022145863 A JP 2022145863A
Authority
JP
Japan
Prior art keywords
representation
indicator
surgical site
processor
surgical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022127239A
Other languages
English (en)
Other versions
JP2022145863A5 (ja
Inventor
ビショップ・スティーブン
Bishop Steven
ダ・シルバ・リカルド・マイケル・ヘンダーソン
Michael Henderson Da Silva Ricardo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CMR Surgical Ltd
Original Assignee
CMR Surgical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CMR Surgical Ltd filed Critical CMR Surgical Ltd
Publication of JP2022145863A publication Critical patent/JP2022145863A/ja
Publication of JP2022145863A5 publication Critical patent/JP2022145863A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2074—Interface software
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/305—Details of wrist mechanisms at distal ends of robotic arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pulmonology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Endoscopes (AREA)
  • Manipulator (AREA)
  • Surgical Instruments (AREA)

Abstract

【課題】患者の解剖学的構造の状態を示すための外科用ロボットシステムのためのインジケータシステムを提供する。【解決手段】上記外科用ロボットシステムが、ベースおよびベースから延在するアームを有するロボットを含み、アームが、ベースから遠位にあるアームの端に内視鏡を保持し、内視鏡が、患者の身体内部の外科的部位を観察するために患者の体腔内へ挿入可能に構成されており、インジケータシステムが、外科的部位における患者の解剖学的構造の少なくとも一部分のビデオデータを内視鏡から受信する受信機と、プロセッサであって、受信されたビデオデータの画素領域内の時空間変化を検出し、検出された時空間変化に応答して、患者の解剖学的構造のパラメータを識別し、識別されたパラメータを示すか、または識別されたパラメータのプロファイルを示す、健康インジケータを生成し、生成された健康インジケータをアウトプットするプロセッサと、を備える。【選択図】図１５

Description

外科手術を補助および実施するためにロボットを使用することが知られている。
図１は、基部１０８、アーム１０２、および器具１０５からなる、典型的な外科用ロボット１００を例示する。基部は、ロボットを支持し、それ自体が、例えば、手術室の床、手術室の天井、またはトロリーにしっかりと取り付けられる。アームは、基部と器具との間に延在する。アームは、その長さに沿って、外科用器具を患者に対して所望の位置に位置特定するために使用される複数の可撓性ジョイント１０３によって関節式に連結される。外科用器具は、ロボットアームの遠位端１０４に取り付けられる。外科用器具は、外科的部位にアクセスするように、ポート１０７で患者１０１の身体を貫通する。その遠位端において、器具は、医療的手技で係合するためのエンドエフェクタ１０６を含む。
図２は、ロボット腹腔鏡手術を実施するための典型的な外科用器具２００を例示する。外科用器具は、基部２０１を備え、これによって、外科用器具はロボットアームに接続する。シャフト２０２は、基部２０１と関節２０３との間に延在する。関節２０３は、エンドエフェクタ２０４で終端する。図２では、一対の鋸歯状の顎がエンドエフェクタ２０４として例示される。関節２０３により、エンドエフェクタ２０４はシャフト２０２に対して移動することができる。関節によってエンドエフェクタ２０４の運動に少なくとも２自由度が提供されることが望ましい。
撮像デバイスは、外科用器具と一緒に外科的部位に位置し得る。撮像デバイスは、外科的部位を撮像することができる。撮像デバイスによって提供される外科的部位の画像は、手技を行う外科医が視認するために、ディスプレイ上に表示され得る。したがって、外科医が外科的部位への直接の視線を有しない腹腔鏡（または低侵襲性）手術を実施することができる。
本発明の態様によれば、患者の解剖学的構造の少なくとも一部分の状態を示すための外科用ロボットシステムのためのインジケータシステムであって、外科用ロボットシステムが、ベースおよびベースから延在するアームを有するロボットを含み、アームが、ベースから遠位にあるアームの端に内視鏡を保持し、内視鏡が、患者の身体の内部の外科的部位を観察するために患者の体腔内への挿入のために構成されており、インジケータシステムが、
外科的部位における患者の解剖学的構造の少なくとも一部分のビデオデータを内視鏡から受信するように構成された受信機と、
プロセッサであって、
受信されたビデオデータの画素領域内の時空間変化を検出することと、
検出された時空間変化に応答して、患者の解剖学的構造のパラメータを識別することと、
識別されたパラメータを示すか、または識別されたパラメータのプロファイルを示す、健康インジケータを生成することと、
生成された健康インジケータをアウトプットすることと、を行うように構成された、プロセッサと、を備える、インジケータシステムが提供される。
プロセッサが、識別されたパラメータを患者の解剖学的構造の参照パラメータと比較することと、比較の結果に依存して健康インジケータを生成することと、を行うように構成され得る。時空間変化が、画素領域内の患者の解剖学的構造の少なくとも一部分の位置変化と、画素領域内の患者の解剖学的構造の少なくとも一部分の密度変化と、画素領域内の患者の解剖学的構造の少なくとも一部分の周波数スペクトルの変化と、のうちの１つ以上を含み得る。
プロセッサが、内視鏡と患者の解剖学的構造の大部分との間、および／または患者の解剖学的構造の大部分と外科的部位の残りの部分との間の相対移動を識別することと、識別された相対移動に依存して時空間変化を検出することと、を行うように構成され得る。
プロセッサが、時空間変化を増幅することと、増幅された時空間変化を使用して健康インジケータを生成することと、を行うように構成され得る。時空間変化が、第１の値と第２の値との間の変化を含む場合、プロセッサが、第１の値を第１の増幅率と乗算することによって、および第２の値を第２の増幅率と乗算することによって、時空間変化を増幅するように構成され得る。第１の増幅率および第２の増幅率の一方または両方が、１を超え得る。第１の増幅率および第２の増幅率の一方または両方が、画素領域内の検出された時空間変化の数と、外科医の好みと、手技であって、外科用ロボットシステムまたは手技のステージを使用して行われている、手技と、患者の解剖学的構造と、識別されたパラメータと、参照パラメータとの識別されたパラメータの比較と、のうちの１つ以上に依存して選択され得る。
画素領域が、内視鏡の視野の少なくとも一部分を含み得る。プロセッサが、受信されたユーザ選択信号および解剖構造識別信号のうちの１つ以上に応答して、画素領域を選択するように構成され得る。外科用ロボットシステムが、外科用ロボットシステムのアームを制御するためのインプットデバイスを有するコントローラを備え得、コントローラが、外科用部位に関連するユーザインプットに応答して、ユーザ選択信号をアウトプットするように構成されている。プロセッサが、受信されたビデオデータ内で、１つ以上の解剖構造を識別することと、１つ以上の解剖構造を識別することに応答して、解剖構造識別信号を出力することと、を行うように構成され得る。画素領域が、解剖構造の少なくとも一部分を含み得る。時空間変化が、解剖構造の少なくとも一部分の蠕動運動を含み得る。
画素領域が、尿管の少なくとも一部分の表現であって、時空間変化が、尿管の蠕動運動を含む、表現と、腸の少なくとも一部分の表現であって、時空間変化が、腸の蠕動運動を含む、表現と、のうちの１つ以上を含み得る。時空間変化が、組織灌流または血流の尺度を表し得る。
プロセッサが、さらなるパラメータを使用して、識別されたパラメータを較正するように構成され得る。パラメータおよびさらなるパラメータが、患者の心拍数および患者の呼吸速度の一方または両方に関連し得る。受信機が、患者の外側部分のさらなるビデオデータを受信するように構成され得、プロセッサが、受信されたさらなるビデオデータの画素領域内のさらなる時空間変化を検出することと、検出されたさらなる時空間変化に応答して、さらなるパラメータを識別することと、を行うように構成され得る。
生成された健康インジケータが、視覚的インジケータであって、プロセッサが、ディスプレイ上に表示するために、生成された健康インジケータをアウトプットするように構成されている、視覚的インジケータと、聴覚的インジケータであって、プロセッサが、スピーカを駆動するために、生成された健康インジケータをアウトプットするように構成されている、聴覚的インジケータと、触覚的インジケータであって、プロセッサが、触覚的フィードバックを提供するためのモータを駆動するために、生成された健康インジケータをアウトプットするように構成されている、触覚的インジケータと、のうちの１つ以上を含み得る。
本発明の別の態様によれば、患者の解剖学的構造の少なくとも一部分の状態を示す方法であって、方法が、
患者の体腔の内部の外科的部位にある内視鏡から、外科的部位における患者の解剖学的構造の少なくとも一部分のビデオデータを受信することと、
受信されたビデオデータの画素領域内の時空間変化を検出することと、
検出された時空間変化に応答して、患者の解剖学的構造のパラメータを識別することと、
識別されたパラメータを示すか、または識別されたパラメータのプロファイルを示す、健康インジケータを生成することと、
生成された健康インジケータをアウトプットすることと、を含む、方法が提供される。
本発明の別の態様によれば、本明細書に説明される方法を実施するように構成された外科用ロボットシステムのためのインジケータシステムが提供される。
本発明の別の態様によれば、コンピュータシステムで実行されると、コンピュータシステムに、本明細書に説明される方法を実施させるコンピュータ可読命令を記憶している非一時的コンピュータ可読記憶媒体が提供される。
本発明の別の態様によれば、外科的手技が行われ得る外科的部位の表現を拡張するための外科用ロボットシステムであって、システムが、外科的部位の少なくとも一部分の表現の一部または全部を表示するように構成されたディスプレイと、インプットデバイスを含むコントローラであって、それによって、インプットデバイスが、ディスプレイ上のインジケータを制御することができ、コントローラが、表現に関連するユーザインプットに応答して、拡張信号をアウトプットするように構成されている、コントローラと、拡張信号を受信すること、および受信された拡張信号に応答して、外科的部位の表現を拡張することを行うように構成された、プロセッサと、を備える、システムが提供される。
システムが、撮像デバイスをさらに備え得、それによって、撮像デバイスが、外科的部位を撮像し、外科的部位の画像フィードを生成するように構成され得る。外科的部位の表現が、生成された画像フィードに依存して得られ得る。外科的部位の表現が、３Ｄ表現であり得る。
システムが、エンドエフェクタを有する外科用器具を有するロボットアームを備え、それによって、外科的部位の表現が、エンドエフェクタの表現を含み得、インジケータが、エンドエフェクタの表現の一部分を含む。
拡張信号は、ディスプレイ上に表示される特徴を示し得る。システムが、インジケータ位置に依存して拡張を外科的部位の表現と関連付けるように構成され得る。プロセッサが、ロボットシステムと関連付けられたジョイントデータに依存して外科的部位の表現を拡張するように構成され得る。プロセッサが、拡張を、ジョイントデータに依存して決定された外科的部位の表現内の場所と関連付けるように構成され得る。
プロセッサが、表現の画像処理に依存して外科的部位の表現を拡張するように構成され得る。
第２のインプットデバイスを備え得、プロセッサが、第２のインプットデバイスにおけるユーザインプットに依存して外科的部位の表現を拡張するように構成されている。インプットデバイスおよび第２のインプットデバイスのうちの少なくとも１つが、音声コマンド、ジェスチャ、およびそれぞれのインプットデバイスとのタッチインタラクションのうちの１つ以上に応答し得る。
プロセッサは、拡張基準が満たされていることを決定することと、その決定に依存して外科的部位の表現を拡張することと、を行うように構成され得る。プロセッサは、拡張基準が、
外科用器具の取り付け、取り外し、操作および／または状態の変化と、
外科的部位の表現における画像認識のマッチングを示す画像認識信号と、
外科用ロボットシステムと関連付けられたエラーを示すエラー信号と、
時間信号と、
外科用ロボットシステムのユーザの変化を示す信号と、のうちの少なくとも１つに応じて、満たされていることを決定するように構成され得る。
プロセッサが、ユーザインプットおよび画像認識信号のうちの少なくとも１つに依存して外科的部位の表現における拡張と関連付けられた特徴を特徴付けるように構成され得る。システムが、プロセッサに結合されたメモリを備え得、メモリが、外科的部位の表現および拡張のうちの少なくとも１つを記憶するように構成されている。
本発明の別の態様によれば、外科的手技が行われ得る外科的部位の表現を拡張するための方法であって、外科的部位の少なくとも一部分の表現の一部または全部を表示することと、表現に関連するユーザインプットを受信し、受信されたユーザインプットに応答して、拡張信号をアウトプットすることと、拡張信号に応答して、外科的部位の表現を拡張することと、を含む、方法が提供される。
方法が、前記外科的部位の記憶された表現に依存して前記外科的部位の前記表現を生成することと、外科的部位の画像フィードを生成し、生成された画像フィードに依存して外科的部位の表現を生成することと、のうちの少なくとも１つを含み得る。インジケータが、外科用ロボットシステムの撮像されたエンドエフェクタの一部分を含み得、方法が、エンドエフェクタを制御することによって、ディスプレイ上のインジケータを制御することを含み得る。方法が、ジョイントデータおよび表現の画像処理のうちの少なくとも１つに依存して外科的部位の表現を拡張することを含み得る。方法が、拡張基準が満たされていることを決定することと、その決定に依存して外科的部位の表現を拡張することと、を含み得る。方法が、拡張を、少なくとも１つの拡張グループと関連付けることを含み得る。方法は、拡張が属する拡張のグループに依存して拡張を表示することを含み得る。
方法は、外科的部位の前記表現が、複数の拡張を含む場合、
拡張の数と、
複数の拡張間の距離と、
複数の拡張によって囲まれた面積と、
複数の拡張によって囲まれた体積と、のうちの少なくとも１つを決定することを含み得る。
方法が、ディスプレイおよび補助ディスプレイのうちの少なくとも１つに、
拡張の数と、
複数の拡張を接続する線と、
複数の拡張によって囲まれた面積と、
複数の拡張によって囲まれた体積と、のうちの１つ以上を表示することを含み得る。
上の任意の態様のいずれか１つ以上の特徴を、上の他の任意の態様のいずれか１つ以上の特徴と組み合わせることができる。任意の装具の特徴を、可能な場合、方法の特徴として記述することができ、逆もまた同様である。これらは、単に簡潔さのために、本明細書では完全には書き出されない。
この発明の概要は、発明を実施するための形態において以下でさらに説明される簡略化された形態での概念の選択を紹介するために提供される。この発明の概要における特徴の言及は、それらが本発明または特許請求される主題の重要な特徴または本質的な特徴であることを示すものでも、特許請求される主題の範囲を限定するものと見なされるべきものでもない。
ここで、添付図面を参照して、本発明を例として説明する。
外科的手技を実施する外科用ロボットを例示する。 既知の外科用器具を例示する。 外科用ロボットを例示する。 外科医コンソールを例示する。 コントローラの構成を概略的に例示する。 外科的部位の表現を拡張するための方法を例示する。 拡張の例を例示する。 表現の表示された部分の例を例示する。 表現の一部分をセンタリングするための処理を例示する。 拡張の別の例を例示する。 例示的な内視鏡を例示する。 例示的なインジケータシステムを例示する。 パラメータの増幅の一例を概略的に例示する。 健康インジケータの表示の一例を概略的に例示する。 患者の解剖構造の状態を示す例示的な方法を例示する。
以下の説明では、外科用ロボットシステムの文脈において技術を説明するが、本明細書に説明されるすべての特徴または説明される特徴は、かかるシステムに限定されるものではなく、少なくともいくつかの特徴または技術は、より全般的にロボットシステムに適用され得る。本技術のうちの少なくともいくつかは、遠隔で動作するロボットシステムに適用され得る。本技術のうちの少なくともいくつかは、ロボットシステムのユーザが、ロボットシステムを操作しているときに方角を失う可能性がある部位に適用され得る。本技術のうちの少なくともいくつかが有用であり得る状況のいくつかの実施例には、探索、調査、または修理のために「ヘビのような」ロボットを使用する実施例が含まれる。
ロボットシステムには、車両製造システム、部品取り扱いシステム、実験室システムなどの製造システム、および危険物などのためのマニピュレータまたは外科用マニピュレータが含まれ得る。
本技術は、患者の解剖学的構造、例えば、解剖構造の少なくとも一部分に関連する１つ以上のパラメータなどの情報が、腹腔鏡手技などの手技中に、内部外科的部位からキャプチャされた手術ビデオから抽出されることを可能にする。これらの抽出されたパラメータを識別するためのビデオの分析は、外科的手技を実施する際の外科用ロボットシステムの使用の強化を可能にする。
例えば、外科用ロボットシステムは、身体の内側の外科的部位にある内視鏡によってキャプチャされたビデオデータの画素領域内で視認可能な解剖構造の蠕動運動などの、体内の解剖構造の蠕動運動を検出し得る。画素領域は、１つ以上の画素を含み得る。そのような蠕動運動の識別は、解剖構造自体の識別を可能にし得る。特定の解剖構造は、特徴的な蠕動運動、例えば、移動の特徴的な周波数および／または振幅を有し得る。したがって、識別された蠕動運動は、解剖構造の特徴である１つ以上の既知の蠕動運動と比較され得る。識別された蠕動運動が既知の蠕動運動の範囲内にある場合、識別された蠕動運動を受ける構造が識別され得る。
さらに、解剖構造の蠕動運動が、その構造のそのような移動の正常範囲内にあるか否かを識別することが可能である。識別された移動が正常範囲内にある場合、解剖構造が健全であると決定され得る。識別された移動が正常範囲外である場合、解剖構造が不健全であると決定され得る。所与の構造の「正常範囲」とみなされるものは、患者の生理学的特徴、実施されている手技、手技のステージなどに依存し得る。
蠕動運動の識別は、周囲構造からの、またはより一般的に外科的部位からの構造の識別を支援し得る。
本明細書に説明される技術は、患者の解剖構造などの患者の解剖学的構造の少なくとも一部分の状態を示すためのシステムを含む。解剖学的構造または解剖構造の状態は、患者の健康状態であり得るか、または患者の健康状態を表し得る。内部外科的部位で内視鏡によってキャプチャされる内視鏡ビデオは、ビデオデータ内の空間的および／または時間的変化（時空間変化と称される）を検出するために分析され得る。これらの変化は、解剖構造の移動および／または解剖構造を通る血流を表し得る。時空間変化は、解剖学的構造の１つ以上のパラメータを識別するために使用され得る。例えば、パラメータは、その構造の移動または移動速度に関連し得る。パラメータは、その構造を通るか、または通過する血液の流れまたは流量に関連し得る。パラメータは、組織灌流の尺度に関連し得る。パラメータ、またはパラメータの時間プロファイルなどのプロファイルを示す健康インジケータが生成され得る。健康インジケータは、アウトプットされ得る。健康インジケータは、外科医などの、システムのユーザに健康インジケータを通知するようにアウトプットされ得る。例えば、健康インジケータは、触覚的フィードバックを提供するための（例えば、触覚的フィードバックは、触覚対応インプットデバイスを介して提供され得る）、ディスプレイにアウトプットされる視覚的信号、および／またはスピーカにアウトプットされる聴覚的信号、および／またはモータにアウトプットされる触覚的信号であり得る。
健康インジケータは、外科医が、外科的手技中に解剖構造（および／または患者の）の状態を評価することを助け得る。
図３は、基部３０１から延在するアーム３００を有する外科用ロボットを例示する。アームは、いくつかの剛直な肢３０２を備える。肢は、外旋ジョイント３０３によって結合される。最近位肢３０２ａは、近位ジョイント３０３ａによって基部に結合される。それおよび他の肢は、ジョイント３０３のさらなるジョイントによって直列で結合される。好適には、手首３０４は、４つの個々の外旋ジョイントから構成される。手首３０４は、１つの肢（３０２ｂ）をアームの最遠位肢（３０２ｃ）に結合する。最遠位肢３０２ｃは、外科用器具３０６のための取付具３０５を担持する。アームの各ジョイント３０３は、それぞれのジョイントで回転運動を引き起こすように操作され得る１つ以上のモータ３０７と、そのジョイントの現在の構成および／または負荷に関する情報を提供する１つ以上のポジションおよび／またはトルクセンサ３０８と、を有する。好適には、モータは、重量分散を改善するために、運動をモータが駆動するジョイントの近位に配置される。明確にするために、モータおよびセンサのうちの一部のみが図３に示される。アームは、概して、我々の同時係属中の特許出願第ＰＣＴ／ＧＢ２０１４／０５３５２３号に記載されるとおりであり得る。
アームは、器具３０６とインターフェース接続するための取付具３０５において終端する。好適には、器具３０６は、図２に関して記載される形態をとる。器具は、８ｍｍ未満の直径を有する。好適には、器具は、５ｍｍの直径を有する。器具は、５ｍｍ未満の直径を有し得る。器具の直径は、シャフトの直径であってもよい。器具の直径は、関節のプロファイルの直径であってもよい。好適には、関節のプロファイルの直径は、シャフトの直径と一致するか、またはシャフトの直径よりも狭い。取付具３０５は、器具の関節を駆動するための駆動アセンブリを含む。駆動アセンブリインターフェースの移動可能なインターフェース要素は、ロボットアームによる駆動を器具に伝えるために、器具インターフェースの対応する移動可能なインターフェース要素と機械的に係合する。典型的な操作中に、１つの器具が別の器具に数回交換される。したがって、器具は、操作中に、ロボットアームに取り付け可能であり、ロボットアームから取り外し可能である。駆動アセンブリインターフェースおよび器具インターフェースの特徴は、それらをユーザが整列させる必要がある精度を低減するように、互いに係合するときにそれらの整列を支援する。
器具３０６は、操作を実施するためのエンドエフェクタを備える。エンドエフェクタは、任意の好適な形態をとり得る。例えば、エンドエフェクタは、滑らかな顎、鋸歯状の顎、グリッパ、一対の剪断器、縫合用針、カメラ、レーザ、ナイフ、ステープラ、焼灼器、吸引器であってもよい。図２に関して記載されるように、器具は、器具シャフトとエンドエフェクタとの間に関節を備える。関節は、いくつかのジョイントを備え、これにより、エンドエフェクタが器具のシャフトに対して移動することを可能にする。関節のジョイントは、ケーブルなどの駆動要素によって作動される。これらの駆動要素は、器具シャフトの他方の端で、器具インターフェースのインターフェース要素に固定される。したがって、ロボットアームは、以下のように駆動をエンドエフェクタに伝える。駆動アセンブリインターフェース要素の移動により、器具インターフェース要素が移動し、これにより、駆動要素が移動し、これにより、関節のジョイントが移動し、これにより、エンドエフェクタが移動する。
モータ、トルクセンサ、およびエンコーダのためのコントローラが、ロボットアーム内に分散する。コントローラは、通信バスを介して制御ユニット３０９に接続される。制御ユニット３０９は、プロセッサ３１０およびメモリ３１１を備える。メモリ３１１は、モータ３０７の動作を制御して、アーム３００を本明細書に記載の様式で動作させるように、プロセッサによって実行可能なソフトウェアを非一時的な方式で記憶する。特に、ソフトウェアは、プロセッサ３１０を制御して、モータを（例えば、分散型コントローラを介して）、センサ３０８からのインプットおよび外科医コマンドインターフェース３１２からのインプットに依存して駆動させることができる。制御ユニット３０９は、ソフトウェアの実行によって生成されたアウトプットに従ってモータ３０７を駆動するためにモータ３０７に結合される。制御ユニット３０９は、検知されたインプットをセンサから受信するためにセンサ３０８に結合され、コマンドインターフェース３１２からインプットを受信するためにコマンドインターフェース３１２に結合される。それぞれの結合は、例えば、各々が電気もしくは光ケーブルであってもよく、かつ／または無線接続によって提供されてもよい。コマンドインターフェース３１２は、１つ以上のインプットデバイスを備え、それによって、ユーザは、所望の方式でエンドエフェクタの運動を要求することができる。インプットデバイスは、例えば、制御ハンドルまたはジョイスティックなどの手動で操作可能な機械的インプットデバイスであっても、光学ジェスチャセンサなどの非接触型インプットデバイスであってもよい。メモリ３１１に記憶されるソフトウェアは、これらのインプットに応答し、それに応じて、アームおよび器具のジョイントを、所定の制御戦略に従って、移動させるように構成される。制御戦略には、コマンドインプットに応答して、アームおよび器具の運動を緩和する安全機能が含まれ得る。したがって、要約すると、コマンドインターフェース３１２に位置する外科医は、所望の外科的手技を実施するような方式で、器具３０６を制御して移動させることができる。制御ユニット３０９および／またはコマンドインターフェース３１２は、アーム３００から遠隔にあってもよい。
いくつかの外科的手技は、いくつかの外科用ロボットアームを必要とし得、各外科用ロボットアームは、外科的部位で他の外科用ロボットアームと同時に使用される器具または他の用具を担持する。そのような外科用ロボットは、多くの場合、内視鏡手術（例えば、腹腔鏡手術）で使用され、これは、低侵襲性手術とも称され得る。当業者にとって既知であるように、内視鏡手技中、外科医は、小さい切開部、または限定されるものではないが、口または鼻孔などの、体内の自然な開口部を通して内視鏡を挿入する。内視鏡は、外科医がそのツールを同じ切開部／開口部を通して、または異なる切開部／開口部を通して誘導することを助けるために使用する、ビデオモニタ（例えば、システムのディスプレイまたはシステムに結合されたディスプレイ）にリアルタイム画像を送信するカメラが取り付けられている剛直な、または可撓性のチューブである。内視鏡は、外科医が、関連エリアを切開して露出させることを必要とせずに、身体の関連エリアを詳細に視認することを可能にする。この技術は、外科医が、患者の体内を見ること、および従来の切開手術に別途必要とされるよりもはるかに小さい切開部を通して手術することを可能にする。したがって、典型的なロボット内視鏡手術では、１つの外科用ロボットアームに取り付けられた内視鏡、ならびに１つ以上の他の外科用ロボットアームに取り付けられた、一対のペンチおよび／またはハサミなどの、１つ以上の他の外科用器具が存在する。
図１１は、低侵襲性手術で使用するためにロボットアームの端に取り付け可能である例示的な内視鏡１１００を例示する。内視鏡１１００は、患者の外科的部位内への挿入のための遠位端１１０２、および近位端１１０４を有する。遠位端１１０２は、細長いシャフト１１０６によって近位端１１０４に接続される。近位端１１０４は、ロボットアームの端を係合するための界面１１０８を備える。内視鏡１１００は、外科的部位を照明するための電源および光源を有する。内視鏡１１００はまた、外科的部位から画像データを抽出するためのデータ線を有する。これらは、すべて、図１１に示されるように、ロボットアームから独立して外部に、内視鏡１１００の近位端１１０４に取り付けられ得る。図１１では、ステム１１１２を通じて電力が印加され、ステム１１１２を通じて画像データが抽出され、光源ステム１１１０を通じて光が印加される。代替的な実施態様では、光インプット、電力インプット、およびデータアウトプットのうちのいずれか１つ以上が、ロボットアームを通じて内視鏡に印加／抽出され得る。内視鏡１１００は、ロボットアームの端に装着する。内視鏡インターフェース１１０８は、ロボットアームの相補的インターフェースに係合する。内視鏡１１００は、ロボットアームおよび内視鏡インターフェースを介して、ロボットアームに取り付け可能であり、ロボットアームから取り外し可能である。場合によっては、内視鏡１１００は、その取り外された状態でロボットアームとは独立して操作可能である。言い換えれば、これらの場合、内視鏡１１００は、ロボットアームから取り外されると、手術室スタッフのメンバによって手動で操作され得る。
手術中に使用される内視鏡によってキャプチャされる画像（本明細書では、まとめて内視鏡ビデオと称され得る）に加えて、内視鏡によってキャプチャされる画像は、記録され、その後、限定されるものではないが、外科手技の学習および／または教示、ならびに外科医のパフォーマンスの評価および／またはレビュー（第三者または外科医自身による）などの様々な目的のために使用され得る。
好適には、撮像デバイスが提供される。撮像デバイスは、外科的部位に提供され得る。撮像デバイスは、内視鏡を含み得る。ロボットシステムは、撮像デバイスを含み得る。例えば、ロボットシステムは、撮像デバイスが取り付け可能であり、かつ外科的部位の周囲で撮像デバイスを移動させるように構成された、アームを含み得る。撮像デバイスは、撮像デバイスが位置する外科的部位の画像を表現し、かつ／または外科的部位の画像を含む、画像信号または画像フィードをアウトプットするように構成される。画像信号は、ビデオ信号を含み得る。好適には、撮像デバイスは、ビデオデータをキャプチャするように構成される。
上の説明は、ディスプレイデバイスとしての単一の画面を指すが、いくつかの実施例では、ロボット外科用システムは、複数のディスプレイデバイスまたは画面を備える。画面は、好適には、画像を二次元画像および／または三次元画像として表示するように構成される。画面は、単一のユーザコンソール上に提供され得るか、または２つ以上のコンソールが各々、少なくとも１つの画面を備え得る。これは、例えば、訓練するため、および／または手術室の他の人々が視認するために、コンソールのユーザ以外の人々が外科的部位を視認することを可能にするのに有用であり得る、追加の視認画面を可能にする。
外科的部位の表現
外科医が部位を見ることを可能にし、かつ外科医が外科的手技を実施することを可能にするように、外科的部位の表現をディスプレイ上に表示することができる。表現は、外科的部位に位置する内視鏡などの撮像デバイスからの画像フィードであり得るか、または画像フィードを含み得る。外科的部位の表現は、２Ｄまたは３Ｄ表現を含み得る。３Ｄ表現は、好適な処理によって２Ｄの元の表現から生成することができる。いくつかの実施例では、３Ｄ表現は、３Ｄモデル、例えば、身体または身体の一部分の３Ｄモデルを含み得る。例えば、外科的手技が腹腔内で行われる場合、３Ｄモデルは、かかる腹腔を表現し得る。３Ｄモデルは、いくつかの実施例では、患者に関連する物理的データなどのデータから少なくとも部分的に導出され得る。例えば、データは、ＭＲＩスキャンなどのスキャンからのデータを含み得る。３Ｄモデルは、外科的手技を受ける患者の知識に従って、例えば、その人物の生理学または病態生理学の知識に依存して、修正または選択され得る。いくつかの実施例では、表現は、部位のキャプチャされた画像フィードおよび３Ｄモデルなどのモデルの両方に基づく。
３Ｄモデルは、好適には３Ｄの解剖学的なモデルである。モデルは、シミュレーションデータまたはシミュレーションされたデータを含み得る。モデルは、初期の手技に関連して得られたデータから構築されたモデルデータを含み得る。初期の手技は、同じ患者であり得る、単一の患者に関するものであってもよい。初期の手技は、２人以上の患者に関するものであってもよい。初期の手技は、計画または実施されている手技と同じまたは同様のタイプのものであってもよい。
外科的部位の表現は、外科的手技中に変化する可能性が高い。例えば、表現は、患者が移動した場合（例えば、患者台が傾けられた場合など、患者の向きが変化した場合）、ならびに／または撮像デバイスが、そのポジション（もしくは位置）および／または向きを外科的部位に対して変化させた場合に、変化し得る。撮像デバイスは、外科的部位を通してパンし、かつ／またはズームインもしくはズームアウトすることができる。かかる変化は、ディスプレイ上に表示される部位の表現も変化させ得る。ディスプレイ上に表示されるモデルの部分は、例えば、外科的手技中に変化し得る。表示されるモデルの部分は、エンドエフェクタの決定されたポジションに依存して変化し得る。エンドエフェクタのポジションは、例えば、エンドエフェクタに送信される制御信号および／またはエンドエフェクタ（もしくはより全般的にはシステム）の運動学的データに依存して決定され得る。ディスプレイ上に表示されるモデルの部分は、表現のデジタルズームを変化させることによって変化し得、すなわち、撮像デバイス自体のズームは、変化させる必要はなく、外科的部位の表現に対して実施される処理によって変化がもたらされ得る。
通常、表示された表現により、外科医は、エンドエフェクタがどこにあるかを見ることができ、かつそれに応じて、外科的手技を実施するようにエンドエフェクタを制御することができる。外科医は身体全体ではなく、表示された外科的部位の部分を見るため、外科医は、手技中に方角を失う可能性がある。言い換えれば、外科医は、外科的部位のどの部分を視認しているのか、および／またはどの向きで外科的部位のその部分を視認しているのかといった追跡を失う可能性がある。これは、続行する前に、外科医が自身を正しく向き付けるために追加の時間が必要であるため、手技を実施するのにかかる時間を延ばすことを含む意味を有し得る。本発明者らは、外科医（および／または手術室スタッフの他のメンバ）に、好ましくは外科的手技中に、追加情報が提供され得ることを実現した。かかる追加情報は、外科的部位の表現を拡張することによって、および／または外科的部位の表現のディスプレイを拡張することによって、提供され得る。
追加的または代替的に、外科的部位における解剖構造などの患者の解剖学的構造の少なくとも一部分の状態に関連する情報、および／または手技を受ける患者の健康状態に関連する情報をディスプレイ上に示すことが望ましい場合がある。例えば、情報は、外科的部位の表現と同じディスプレイ上に示され得る。情報は、外科的部位の表現のディスプレイを拡張するために使用され得る。そのような情報は、外科的部位の表現と同じディスプレイに提供される必要はない。情報は、外科的部位の表現上に、もしくはその一部として、および／または外科的部位の表現とは別個に提供され得る。
以下により詳細に説明されるように、情報は、例えば、患者の心拍数、患者の呼吸速度、患者の解剖学的構造の少なくとも一部分の移動、解剖構造の少なくとも一部分の組織灌流の尺度、患者の解剖学的構造の少なくとも一部分または解剖構造の少なくとも一部分の血流および／または酸素送達の尺度などに関する情報を含み得る。好適には、情報は、患者の解剖学的構造に関連する識別されたパラメータが許容可能な範囲内にあるか否かなどの、患者の健康状態の表示を含む。
拡張
外科的部位の表現を拡張することにより、外科医などのユーザに対して、例えば、外科的部位の表示された表現の向き付けを支援し得る視覚的な支援の包括が可能になり得る。本明細書で考察される実施例では、「向き付ける」とは、好適には、表示された表現の向きを解明すること、またはその理解を得ることを指す。「向き付ける」は、表示された表現がどの向きにあるかを評価することを含み得る。本技術のアプローチにより、外科的手技をより迅速かつより正確に完了することが可能になり得る。拡張により、システムを使用してエンドエフェクタを制御する外科医と、エンドエフェクタまたは全般的にはロボットシステムの動作との間などで、強化されたヒューマンマシンインタラクションを提供することができる。本明細書で説明されるように、かかる拡張により、システムのユーザが、技術的なタスクをより繰り返し可能に、より確実に、かつ／またはより迅速に実施することなどを可能にすることができる。
外科的部位の表現を拡張することにより、１つ以上の健康インジケータが外科医などのユーザに表示されることが可能になり得る。そのような拡張は、強化されたヒューマンマシンインタラクションを提供し得る。拡張により、外科医が、行われている手技に関連する解剖構造のパラメータをより迅速に決定し、手技をより迅速に、より正確に、より安全に実施することなどが可能になり得る。
外科的部位の表現を拡張することは、外科的手技前、手技中、および／または手技後に行うことができる。任意選択で、少なくとも１つの拡張が、外科的手技中に表現上に、または表現の一部として表示される。これにより、いくつかの実施例では、外科医などのユーザが、手技を実施するときに、表現をリアルタイムでより正確に向き付けることを可能にすることができる。
拡張は、（例えば、外科医が制御する１つ以上のエンドエフェクタによって）部位を通して外科医がとった経路、部位の１つ以上の点で行われた行為、部位の特定の位置に存在する（または存在しない）特徴、部位の一部の移動などのうちの１つ以上に関連し得る。
拡張は、自動的に、またはユーザインプットに応答して追加され得る。ユーザインプットに応答して拡張が追加される場合、ユーザは、拡張の一部を指定することができ、拡張の別の部分が自動で行われる場合がある。この実施例は、特徴識別である。画像プロセッサなどのプロセッサは、部位の表現を監視し、どの特徴が存在するか、またはどの特徴が表現もしくは表示される表現の一部の中に存在する可能性が高いかを決定し得る。画像プロセッサ、または画像プロセッサからのアウトプットに依存して動作する別のプロセッサは、１つ以上の決定された特徴を自動的にラベル付けまたはタグ付けすることができる。代替的に、ユーザは、特徴を示すことができ、システムは、その特徴に適用するラベルまたはタグを、例えば、画像認識または画像マッチングなどによる自動特徴決定に依存して、自動的に選択することができる。ラベルまたはタグは、特徴に関する信頼性の尺度、例えば、確率尺度、および／または信頼性の言明を含み得る。
上の実施例は、本技術の１つの使用を例示する。これにより、ユーザが、外科的部位の表示された画像フィードまたはモデル内の解剖学的な特徴などの特徴をタグ付けまたは識別することが可能である。ユーザインプットに依存して、拡張を表現に追加することができる。例えば、ユーザインプットは、拡張が追加される特徴または特徴の位置を示すことができる。ユーザはまた、追加される拡張の性質、例えば、拡張のための名称もしくはラベル、および／または拡張のタイプを示すことも、指定することもできる。
外科用ロボットシステムでは、３Ｄ空間内の外科用ロボットの部分のポジションは通常、既知である。例えば、エンドエフェクタの３Ｄ空間内の位置が既知であるか、または運動学的な制御情報に基づいて決定され得る。かかる運動学的データがシステムに既に存在するため、追加の運動学的データを計算する必要はない場合がある。したがって、本技術は、有利には、システムの既存の情報を利用して、追加的な利益をシステムのユーザに提供することができる。拡張は、外科的部位の表現に関連する３Ｄ空間の拡張であってもよい。表現がディスプレイ内を移動する場合、拡張の関連付けられた移動は、深度、回転、および／または横方向の並進運動などを考慮に入れることができる。このアプローチにより、拡張の位置の精度を増加させ、ひいては、拡張に基づくシステムとのインタラクションの精度を増加させることができる。
一実施例では、外科医などのユーザは、解剖学的な特徴上のポジションを示して切開を行うか、またはステッチを挿入することを望む場合がある。これは、外科医が切開またはステッチに好適な位置を見つけるが、切開を行う前またはステッチを挿入する前に別のタスクを実施することを望む場合に有用であり得る。外科医がかかる拡張を追加することを可能にすることにより、外科医が、拡張によって示される位置へ迅速かつ正確に戻ることを可能にする。現在の位置に対するかかる拡張の位置は、外科的部位を通したナビゲーション、および／または外科的部位の表現の向き付けを支援し得る。例えば、表現の表示された部分でかかる拡張を視認することにより、ユーザが、表示されている部位の部分を迅速かつ正確に決定することが可能になり、より効率的なヒューマンマシンインタラクションを容易にすることができる。外科的手技の文脈において、これは、外科医が識別された位置を再び位置特定するために必要な時間を最小化することを可能にすることによって、手術時間を低減することができる。手術時間を低減することは、合併症のリスクを低減し、回復時間を支援し得るため、患者にとって有益である。手術時間の低減は、実施され得る手術の数の増加につながる可能性があり、その結果、手術当たりのコストの低減につながり得るため、患者および病院にとって有益であり得る。
拡張（複数可）は、表現上に、または表現の一部として表示される必要はない。例えば、拡張を表現の一部分に追加し、次いで、拡張（複数可）がディスプレイ上でもはや視認不可能であるように、表示された画像を（撮像デバイスおよび／または表現のズームもしくはパンなどによって）変化させることができる。この場合、システムは、異なるタイプのものであってもよい、さらなる拡張を、表現または表現の表示された部分に追加することによって、拡張（複数可）の存在および／または位置を示すように構成され得る。かかる拡張は、別の拡張および／または表現内にある解剖学的な特徴などの表現の特徴までのもしくはそれに向かう、方向および／または距離を示し得る。これについては、以下でより詳細に説明する。
いくつかの実施例では、行為は、自動的に、または補助的な様式で実施され得る。例えば、結び目を結ぶなどの一般的な行為が外科医によって開始され得、残りの行為が、外科医を支援するように自動的に完了され得る。かかる補助的な行為は、繰り返しの移動または行為において有用である。拡張は、自動的な行為が実施される位置、または行為を実施することが必要とされる位置に提供され得る。例えば、外科医は、結び目が結ばれるべき１つ以上の位置を示し、かつ／または結び目を結ぶ途中で、結び目を結ぶ際の補助が必要であることをシステムに示すことができる。結び目を結ぶなどの補助的な行為が実施されると、補助的な行為が実施されたことを示すように既存の拡張が修正される場合がある。追加的または代替的に、新しい拡張を提供して、補助的な行為が実施されたことを示すことができる。新しい拡張の位置は、補助的な行為がどこで実施されたかの表示を提供することができる。
（最も適切な場所、向き、互いの間隔での）好適な位置、例えば、外科医がタスクを実施し得る位置および／またはシステムが補助的な行為を実施し得る位置の識別は、外科医によって好適に行われる。いくつかの実施例では、好適な位置の識別は、自動的に実施され得る。かかる自動識別は、以前に識別された位置、例えば、外科的部位のモデルに含まれる位置に依存して実施され得る。モデルは、１つ以上の以前の手技を考慮することによって構築され得る。したがって、自動識別は、行われようとしている手技と比較して、同じまたは別の外科医（複数可）によって行われた可能性がある、初期の手技の組み合わされた知識から利益を得る場合がある。このようにして、より年少の外科医は、より経験豊富な同僚の知識から、これらのより経験豊富な同僚が手技中に立ち会い、または手技前に直接相談を受ける必要なしに、利益を得ることができる。位置の自動識別は、システムのユーザによる確認の対象となり得る。例えば、システムは、任意選択の位置を提案し得る。提案された任意選択の位置は、その提案された任意選択の位置が現在の手技に適切であるという信頼性を示すことができる、信頼因子に関連付けられ得る。信頼因子は、任意の適切な方式で決定され得る。いくつかの実施例では、信頼因子は、以前の手技と現在の手技との間の類似性、および／または以前の手技で使用されたモデルと現在の手技で使用されるモデルとの間の類似性を決定することによって決定され得る。信頼因子は、以前の手技のうちの１つ以上を実施したユーザに依存して決定され得る。例えば、信頼因子は、それが比較的より経験豊富な外科医によって行われる手技に少なくとも部分的に基づく場合、より高くなり、より高い信頼を示す場合がある。
外科医は、例えば、位置を識別すること、および／または提案された位置を確認することによって、位置を示すことができ、それにより、システムは、それに応じて外科的部位の表現を拡張することができる。行為が自律的にまたは部分的に自律的に実施される場合、外科医は、次いで、かかる少なくとも部分的に自律的な行為が実施され得ることをシステムに示し得る。
タグまたは拡張は、手動でまたは自動的に追加され得る。自動拡張は、画像認識に依存して生じ得る。これについては、以下でより詳細に考察する。拡張は、インジケータに依存して追加され得る。インジケータは、ディスプレイ上に表示され得る。インジケータは、カーソルまたは他のポインタを含み得る。インジケータは、ディスプレイの点または領域を示し得る。例えば、インジケータは、円形などの形状の形態であってもよく、その内装部品がインジケータによって示される。インジケータは、ディスプレイ上で固体および／または着色されたように見える外側エッジを備えてもよく、例えば、円形のインジケータの円周は、黒または白の実線であってもよい。外側エッジは、エッジをハイライトするように点滅し得る。インジケータは、残りのディスプレイと比較して、異なる色、コントラスト、３Ｄ外観、および／または焦点を有し得る。例えば、インジケータの形状の内部は、着色されてもよく、インジケータの外部は、白黒であってもよい。いくつかの実施例では、インジケータの内部は、焦点を合わせることによって強調され得、インジケータの外部は、焦点から外れてもよい。インジケータをハイライトする任意の他の好適な方式を使用することができる。
拡張にラベルを与えることができる。拡張のラベル付けは、手動で、自動的に、または手動と自動のいくつかの組み合わせで行われてもよい。例えば、拡張が追加されると、ラベルをユーザによって指定することができる。これは、ユーザがデータを入力することによって、例えば、ラベルをキーボードで、音声インターフェースを介して、ジェスチャインターフェースを介して、マウスなどのポインタインターフェースを介して、および／または他の任意の好適な方式で入力することによって、行うことができる。データを入力するこれらのアプローチの組み合わせを使用することができる。いくつかの実施例では、マイクロホンなどの音声応答インプットデバイスを使用して、ラベルをインプットすることができる。ユーザは、拡張に適用され得るラベルを声に出して発話することができる。ラベルは、可能なラベルのセットからラベルを選択することによって、拡張に追加され得る。ラベルの選択は、メニューシステムを介して実施され得る。メニューシステムは、すべての可能なラベルを含み得る。メニューシステムは、可能なラベルのセットを含み得るか、または利用可能にし得る。可能なラベルのセットは、事前に選択することができる。可能なラベルのセットは、ユーザのユーザプロファイル、実施されている外科的手技、外科的部位の位置などのうちの少なくとも１つに依存して選択され得る。いくつかの実施例では、ユーザは、使用するためのラベルを事前に定義することができる。ユーザ定義のラベルは、システム定義のラベルに追加されてもよい。ラベルを１つ以上の外科的手技に関連付けることができ、それにより、ラベルのサブセットを関連する外科的手技のために利用可能にすることができる。例えば、「動脈」というラベルは、広範囲の手技に対して適切に利用可能であってもよい。所与の手技の外科的部位で腎臓が視認不可能な場合、「腎臓」というラベルを利用可能にする必要はない。
画像認識を使用して、拡張のラベル付けを補助することができる。画像認識アルゴリズムは、拡張に適用される可能なラベルのセットを選択し得る。画像認識アルゴリズムは、外科的部位のモデル、例えば、３Ｄモデル、および／または位置に依存して、セットを選択し得る。
ラベルには、テキストラベルおよびラベルハイライトが含まれ得る。テキストラベルは、例えば、「腎臓」または「動脈」など、拡張されている特徴の名称を提供することができる。任意の所望のレベルの詳細をテキストラベルに提供することができる。ラベルハイライトには、表現の点または領域の視覚的な表示が含まれ得る。例えば、動脈のエッジ、または腎臓のような器官のエッジなど、特徴のエッジをハイライトすることができる。追加的または代替的に、特徴の内部領域、例えば、特徴のエッジによって境界付けされた領域をハイライトすることができる。例えば、血管などの内部構造は、輪郭でハイライトされ得る。別の実施例では、腫瘍のエッジ（切除端の有無）がハイライトされ得る。ハイライトは、手術前のＣＴスキャンなどの１つ以上の他の画像診断法に依存して決定され得る。ハイライトは、輪郭、陰影、着色、２Ｄ／３Ｄ外観の変化、異なるコントラストなどのうちの１つ以上の形態をとり得る。一実施例では、腎臓などの器官（または表現で視認可能な器官のその部分）を陰影付けすることができる。これにより、その特徴、この実施例では腎臓の所在を表現で明確に示すことにより、ユーザを補助することができる。外科的手技がその特徴とのインタラクションを想定しない場合、特徴を陰影付けすることが望ましい場合がある。外科的手技が、ハイライトされる特徴とのインタラクションを想定する場合、特徴を不明瞭にしないものなど、ハイライトの代替的な形態を使用することができる。ハイライトされる特徴のエッジは、手動で、および／または自動的に決定され得る。一実施例では、外科医は、インジケータをエッジ上の点に誘導し、この点が特徴のエッジ上の点を表現することをシステムに示すことができる。外科医は、エッジを追跡するか、またはエッジに沿って１つ以上の点を提供することができ、これに基づいて、残りのエッジをシステムによって、例えば、画像分析によって、補間、外挿、および／または別様に決定することができる。例えば、システムは、エッジのいずれかの側に対する１つ以上の画像特性（例えば、色、コントラスト、光度、深度などのうちの１つ以上）の違いを決定し、その１つ以上の特性の変化に追従する、画像を通る線を追跡するように構成され得る。特徴がラベル付けされると、システムは、表現が変化するにつれて、画像の分析および／または追跡を実施して、その特徴を一貫してラベル付けすることができる。
拡張は、システムのユーザによって追加または選択され得る。例えば、インプットデバイスを備え得るコントローラは、拡張信号をアウトプットするように構成され得る。拡張信号は、ディスプレイ上のインジケータの位置に関連付けることができる。拡張信号は、インジケータのディスプレイ上の位置を示し得る。例えば、ユーザがコントローラを制御して拡張信号をアウトプットする場合、システムは、インジケータの位置で拡張を追加するように構成され得る。いくつかの実施例では、メニューシステムをナビゲートする場合、メニューシステムのインジケータの位置（すなわち、メニューシステムの値またはラベル）は、コントローラを起動して拡張信号をアウトプットすることによって選択され得る。
コントローラは、コントローラでのユーザ制御の起動に応答して、拡張信号をアウトプットするように構成され得る。ユーザ制御は、ボタンまたはスイッチを備え得る。ユーザ制御は、キーボードを備え得る。ユーザ制御は、抵抗センサ、静電容量センサ、トラックボール、ジョイスティックもしくはサムスティック、音声センサ、ジェスチャセンサ、ならびに／またはこれらおよび他のユーザインプットデバイスの任意の組み合わせを備え得る。コントローラは、いくつかの実施例では、インプットデバイスでユーザインプットを受信することに応答して、拡張信号をアウトプットするように構成される。インプットデバイスは、ユーザ制御を備え得る。インプットデバイスにより、好適には、ユーザはディスプレイ上のインジケータを制御することができる。例えば、インプットデバイス上のジョイスティックまたはサムスティックの移動は、ディスプレイ上のインジケータの対応する移動を引き起こし得る。いくつかの実施例では、インプットデバイスの移動は、ディスプレイ上のインジケータの対応する移動を引き起こし得る。例えば、ハンドコントローラは、例えば、ハンドコントローラのアームリンクおよびジンバルジョイントを介して、三次元方向に移動させることができる。インジケータの移動は、ハンドコントローラの移動の少なくとも１つの次元に基づき得る。例えば、二次元方向の移動（ｘ－ｙ平面またはｙ－ｚ平面を画定するものなど）は、ディスプレイ上でのインジケータの二次元方向の移動を制御し得る。このアプローチにより、ユーザが簡単かつ直感的な様式でインジケータをディスプレイの周りで移動させることができる。一実施例では、ハンドコントローラの三次元方向の移動を使用して、エンドエフェクタのポジションを制御することができ、一方の（またはいくつかの実施例では、両方の）インプットデバイス上のサムスティックを使用して、外科的部位の表現内のインジケータのポジションを制御することができる。
コントローラは、外科用ロボットのユーザコンソールを備えるか、またはその一部であってもよい。
外科医コンソール４００などのユーザコンソールの例示的な図を図４に示す。外科医などのユーザは、ロボットアーム３０２、および外科医コンソール４００でインプットデバイス３０４を介してロボットアーム３０２に結合された器具３２０を制御することができ、ロボットアームおよび／または器具を所望どおりに操縦することができる。図４に例示されるように、外科医コンソール４００は、光学ジェスチャセンサなどのジェスチャセンサおよび音声センサのうちの少なくとも１つを備える、非接触型インプットデバイス４１０を備える。外科医コンソール４００は、タッチ画面インプットデバイス４２０を備える。追加的または代替的に、ディスプレイ３０６は、タッチ画面インプットを備え得る。外科医コンソール４００は、フットペダルなどの足で操作可能なインプットデバイス４３０を備える。デバイス４１０、４２０、４３０の各々のうちの１つが図４に示されるが、これらのデバイスの任意の組み合わせの任意の数が他の実施例に提供され得ることが理解されよう。すべてのインプットデバイスまたはすべてのタイプのインプットデバイスをすべての実施例に提供する必要はない。
ユーザコンソール４００などのコントローラの一部分の構成の概略図を図５に例示する。コントローラ５００は、外科医コマンドインターフェース５１０を備える。システムは、コマンドプロセッサユニット５２０およびディスプレイ５３０をさらに備える。コマンドプロセッサユニット５２０は、外科医コマンドインターフェース５１０およびディスプレイ５３０の両方に結合される。外科医コマンドインターフェース５１０は、外科医などのユーザによって操作可能であるように構成される。外科医コマンドインターフェース５１０により、ユーザは外科用ロボットシステムにコマンドを入力することができる。ユーザは、コマンドインターフェースを使用して、例えば、１つ以上のロボットアームおよび／またはロボットアームに結合されたエンドエフェクタを制御することによって、外科用ロボットシステムの動作を制御することができる。コマンドインターフェース５１０は、インプットデバイス５１２を備える。インプットデバイス５１２は、例えば、図４において３０４で例示されるようなインプットデバイスであってもよい。１つのインプットデバイスのみが図５に示されているが、２つ以上のインプットデバイスを提供することができる。通常、ユーザが片手で１つずつ使用するために、２つのインプットデバイス５１２が提供される。
いくつかの実施例では、インプットデバイスは、外科用ロボットを制御する外科医が操縦するための手持ち式コントローラであってもよい。例えば、インプットデバイスは、ロボットアームおよび器具に通信可能に結合することができ、それによって、外科的部位などでの器具のエンドエフェクタのポジションおよび動作を外科医が制御することができる。
第２のインプットデバイス５１４がコマンドインターフェース５１０に提供される。第２のインプットデバイスは、いくつかの実施例では、インプットデバイス５１２と同じタイプのものである。他の実施例では、第２のインプットデバイス５１４は、インプットデバイス５１２とは異なるタイプのデバイスである。例えば、第２のインプットデバイス５１４は、音声インターフェース、ジェスチャインターフェース、およびタッチインターフェースのうちの１つ以上を備え得る。したがって、第２のインプットデバイス５１４は、第２のインプットデバイスで受信した音声コマンド、ジェスチャ、および／またはタッチに応答し得る。インプットデバイス５１４は、例えば、図４において３０６、４１０、４２０、または４３０で例示されるようなデバイスであってもよい。
この配置により、外科医は、第２のインプットデバイスを使用して、外科的部位の表現を拡張することができる。例えば、外科的手技の間、外科医は、インプットデバイスを使用して、外科的手技の一部を実施することができる。外科医が選択したある時点で、インプットデバイスによって制御されるインジケータが位置する外科的部位の表現のその部分を拡張することが望ましい場合がある。例えば、外科医がステッチを完了したばかりの場所で、外科医が、ステッチまたはその近くの外科的部位の表現を拡張することを望む場合がある。これは、外科医が、外科的部位の表現に、ステッチの位置を記録することを可能にし得る。これにより、外科医（および／または別の人物）は、その位置、すなわち、ステッチを、後で（例えば、手技の後期または手技後のレビュー中に）位置特定することができる。外科的手技が進行するにつれて、ディスプレイ上に表示される外科的部位の部分が変化する可能性が高い。ステッチの位置を記録するように外科的部位の表現を拡張することにより、外科医は、その位置の、現在の位置からの向きもしくは方向、および／または距離を決定することができる。これは、例えば、ステッチがディスプレイ上にもはや表示されていない場合に、外科医が表示された表現を、適切に向き付けるのを助けるのに有用な場合がある。第２のインプットデバイスの提供により、インプットデバイスを使用してエンドエフェクタを制御する様式を外科医が変更することを必要とせずに、拡張を追加することができる。つまり、拡張を追加するためにエンドエフェクタを移動させる必要はない。外科医は、例えば、「ステッチ」と言う場合があり、第２のインプットデバイスは、外科医の音声インプットを検出し、コマンド（ここでは「ステッチ」）を決定し、信号を生成して、それに応じて外科的部位の表現を拡張させることができる。追加的または代替的に、外科医は、カメラなどのジェスチャに敏感なインプットデバイスによる検出のためにジェスチャを実施し得る。外科医は、タッチ応答型インプットデバイス、例えば、外科的部位の表現が表示されるディスプレイ画面にタッチすることができる。第２のインプットデバイスは、インプットデバイスを制御する同じ人物によって制御される必要はない。いくつかの実施例では、外科医は、外科的手技を実施するようにインプットデバイスを制御する。外科用アシスタントまたは手術室スタッフの他のメンバが、第２のインプットデバイスを使用し得る。いくつかの実施例では、第２のインプットデバイスは、インプットデバイスと同様の形態をとり得る。いくつかの実施例では、インプットデバイスおよび第２のインプットデバイスの一方または両方を使用して、外科用ロボットシステムのメニュー、例えば、ディスプレイ上に表示されたメニューをナビゲートすることができる。メニューオプションは、事前に構成され得る。メニューオプションは、ユーザの好み、外科的手技のタイプ、外科的手技のステージ、システムに結合されたエンドエフェクタのタイプおよび／または数などのうちの１つ以上に従って事前に構成され得る。
第２のインプットデバイス５１４は、すべての実施例において、インプットデバイス５１２と同じコマンドインターフェース５１０に提供される必要はない。例えば、インプットデバイスが１つのユーザコンソールにあっても、またはそれに関連付けられてもよく、第２のインプットデバイスが同じまたは異なるユーザコンソールにあっても、それに関連付けられてもよい。第２のインプットデバイスは、信号を生成するように構成され得る。プロセッサは、第２のインプットデバイスから、生成された信号を受信し、外科的部位の表現を拡張するか、またはそれに応じて拡張を修正するように構成され得る。
例えば、各々が別個のロボットアーム（または別個のロボットアームセット）を制御するための２つの外科医制御コンソールが提供され得る。例えば、１つの外科医コンソールは、腹腔内で操作するロボットアームを制御するためのものであり得、他方の外科医コンソールは、経肛門的に操作するロボットアームを制御するためのものであり得る。１つの外科医コンソールに関連するディスプレイが、他の外科医コンソールに依存して、または他の外科医コンソールによって導出される拡張によって拡張されることが有用である。
インプットデバイス５１２に異なるタイプの第２のインプットデバイス５１４を提供することにより、有利には、コマンドインターフェース５１０のユーザは、ロボットシステムの制御をより簡単にもたらすことができる。例えば、ユーザが２つの手動で操作可能なインプットデバイス５１２を制御している場合、ユーザは、さらなる手動で操作可能なインプットデバイスを制御することができるように、これらのインプットデバイスのうちの１つを手放す必要がある可能性が高い。ユーザは、有利には、２つのインプットデバイス５１２のいずれかの制御を放棄する必要なく、第２のインプットデバイス５１４の制御をもたらすことできる。例えば、第２のインプットデバイス５１４が音声インターフェースを備える場合、ユーザはコマンドを声に出して発話することができる。これは、インプットデバイス（複数可）５１２の保持を保ちながら行うことができる。
図３に例示されるように、コマンドインターフェースは、外科用ロボットシステムのロボットアームおよびエンドエフェクタの制御をもたらすために制御ユニット３０９に結合される。図５を再び参照すると、コマンドインターフェース５１０は、コマンドプロセッサユニット５２０に通信可能に結合される。コマンドプロセッサユニット５２０は、プロセッサ５２１を含む。プロセッサ５２１は、コマンドインターフェースまたはコントローラ５１０と通信し、外科的部位の表現の拡張を制御することができるように構成される。プロセッサ５２１は、画像認識などの画像処理を実施するように構成され得る。追加的または代替的に、画像プロセッサ５２２が提供され得る。画像プロセッサ５２２は、画像認識などの画像処理を実施するように構成され得る。プロセッサ５２１および／または画像プロセッサ５２２は、エッジ検出、スペクトル分析などを実施するように構成され得る。
プロセッサ５２１および任意選択の画像プロセッサ５２２は、メモリ５２３へのアクセスを有する。図５に例示される実施例では、メモリは、コマンドプロセッサユニット５２０に提供される。いくつかの実施例では、メモリは、他の場所に提供されてもよく、かつ／または追加のメモリが他の場所に提供されてもよい。コマンドプロセッサユニット５２０にメモリ５２３をローカルに提供すると、メモリアクセス時間が改善され得る。コマンドプロセッサユニット５２０から少なくとも部分的に遠隔にメモリ５２３を提供することによって、コマンドプロセッサユニット５２０の大きい物理的サイズを必要とせずに、より大きいメモリを使用することができる場合がある。メモリ５２３の少なくとも一部分が、コマンドプロセッサユニット５２０から遠隔に提供されている場合、メモリ５２３の遠隔部分は、有線および無線接続のうちの１つ以上によって、コマンドプロセッサユニット５２０に結合され得る。
メモリは、プロセッサ５２１および／または画像プロセッサ５２２が実行するためのプログラムを記憶し得る。メモリ５２３を使用して、処理の結果、および任意選択で中間処理結果を記憶することができる。メモリ５２３は、外科的部位の表現またはその少なくとも一部分を記憶し得る。メモリ５２３は、外科的部位の表現に関する拡張を記憶し得る。拡張は、外科的部位の表現の一部として、またはそれとは別々に記憶され得る。いくつかの実施例では、拡張（複数可）は、コマンドプロセッサユニットでメモリ５２３に記憶され得、記憶された拡張（複数可）が基づく外科的部位の表現は、遠隔メモリに記憶され得る。いくつかの実施例では、１つ以上の拡張がコマンドプロセッサユニットでメモリ５２３に記憶され得、１つ以上の拡張、および拡張が基づく外科的部位の表現は、遠隔メモリに記憶され得る。
コマンドプロセッサユニット５２０は、計算ロジック５２５を含み得る。計算ロジックには、距離計算ロジック５２６、面積計算ロジック５２７、体積計算ロジック５２８、および／またはユーザ定義計算ロジック５２９が含まれ得る。計算ロジックは、経時変化計算ロジックを含み得る。計算ロジックは、好適には、本明細書の他の場所でより詳細に記載されるように、少なくとも１つの拡張に依存して１つ以上のメトリックを計算するように構成される。
拡張の指定
以下では、拡張がユーザによってどのように指定され得るかの実施例を説明する。
考察されたように、ディスプレイ上のインジケータは、コントローラによって制御可能である。インジケータには、マウスポインタなどのポインタが含まれ得る。マウスポインタなどのインジケータは通常、外科的部位に存在しないが、部位の表現に追加されるか、または表現がディスプレイ上に表示されたときに表現上にオーバーレイされるという点で、仮想インジケータである。
いくつかの実施例では、インジケータには、物理的インジケータが含まれ得る。物理的インジケータは、外科用ロボットの一部として提供され得る。例えば、物理的インジケータは、エンドエフェクタの一部として提供され得る。エンドエフェクタはディスプレイ上で視認可能であるため、エンドエフェクタ自体を物理的インジケータとして使用することができる。
物理的インジケータは、エンドエフェクタのインジケータ部分を含み得る。例えば、エンドエフェクタが一対の顎を有するグリッパツールである場合、インジケータは、閉じたポジションにある顎の先端を含み得る。エンドエフェクタは、エンドエフェクタがインジケータとして作用し得るインジケータモードを有し得る。インジケータモードには、顎が完全に閉じている場合、または所定の点を通過して閉じている場合に入ることができる。追加的または代替的に、ユーザは、例えば、コントローラでの制御、例えば、インプットデバイスおよび第２のインプットデバイスのうちの一方またはもう一方での制御を介して、エンドエフェクタのインジケータモードとエンドエフェクタの非インジケータモードとの間で選択することができる場合がある。好適には、エンドエフェクタは、インジケータモードまたは非インジケータモードが選択されるかどうかにかかわらず、行われている手技のいかなる中断も必要としないように、通常の様式で依然として制御可能である。グリッパの顎（またはより全般的には、任意の他のエンドエフェクタの構成もしくは動作）は、エンドエフェクタがインジケータとして作用するために特定の構成である必要はない。
いくつかの実施例では、インジケータは、エンドエフェクタの特定の部分を含み得る。例えば、顎の先端、針の先端など。例えば、エンドエフェクタがグリッパである場合、左端の顎の先端がインジケータとして作用し得る。ここで、「左端の顎」とは、ユーザが視認したときにディスプレイの左にある任意の顎であってもよく、または視認したときの向きに関係なく、エンドエフェクタの所与の顎であってもよい。エンドエフェクタのインジケータ部分は、例えば、エンドエフェクタ自体の上にある（エンドエフェクタの別の部分と異なる色、形状、および／または構成であってもよい）マークによって、および／または仮想的にディスプレイ上にそのように示され得る。エンドエフェクタのインジケータ部分を仮想的に示すことは、かかる表示が、ユーザの好み、動作条件、行われている外科的手技などのうちの１つ以上に従って変更され得るという利点を有する。
拡張は、インジケータによって示される位置で外科的部位の表現に追加され得る。例えば、拡張は、インジケータが位置するポジションに追加され得る。インジケータのポジションは、ディスプレイ上（すなわち、ディスプレイの二次元画面空間内）のポジションであってもよい。インジケータのポジションは、ディスプレイ上のインジケータの、三次元表現の特徴への投影であってもよい。
拡張は、コントローラによる拡張信号のアウトプットに応答して、好適に追加される。拡張信号は、インプットデバイスによってアウトプットされ得る。
例えば、拡張は、インジケータによって示される特徴、またはインジケータによって示される特徴上の位置に追加され得る。ユーザは、表示された表現内にある器官などの所望の特徴の上になるようにインジケータを制御することができる。ユーザは、コントローラに拡張信号をアウトプットさせることができる。応答して、プロセッサ５２１は、インジケータの位置に拡張を追加することなどによって、外科的部位の表現を拡張し得る。ユーザがメニューを開くことができるか、または拡張の追加の際に、メニューが自動的に開いてもよい。ユーザは、拡張用に所望のラベルを選択するように、コントローラ、例えば、インプットデバイスまたは第２のインプットデバイスを使用してメニューをナビゲートすることができる。他の実施例では、プロセッサ５２１または画像プロセッサ５２２は、拡張が追加された特徴を決定し得る。この決定は、例えば、ＭＲＩスキャンなどのスキャンから導出されたデータから少なくとも部分的に導出され得る３Ｄモデルに基づいて、画像認識および／もしくは画像マッチング、または他の画像分析によって行われ得る。次いで、決定された特徴の適切なラベルを、表現に追加するか、または別様に拡張に関連付けることができる。いくつかの実施例では、ラベルは、特徴の名称、例えば、「動脈」、「腎臓」などであってもよい。
拡張は、システムによって、例えば、プロセッサ５２１によって自動的に追加され得る。ユーザは、コントローラが拡張信号をアウトプットするためのいかなる行為もとる必要がない。いくつかの実施例では、コントローラは、クロックを含み得るか、またはクロックへのアクセスを有し得、拡張信号は、クロックに依存して、コントローラによってアウトプットされ得る。例えば、拡張信号は、事前に選択された時間または事前に選択された周波数でアウトプットされ得る。これにより、異なる外科医が手技の所定の点に到達するためにかかった時間に関してデータを得ること、または外科医が手技の開始から所定の時間で到達する手技の点に関してデータを得ることが可能になり得る。かかるデータは、行われた手技の手技後の分析またはオフライン分析を強化し得る。かかる拡張は、ユーザインプットを必要とせずに、自動的に行うことができる。このアプローチにより、データを繰り返し可能かつ効率的に得ることが可能となる。
拡張は、手技の任意の所望のステージで、自動的にまたは手動で追加され得る。いくつかの実施例では、システムは、手技を監視し、行われている手技と１つ以上の以前の手技とを比較することができる。かかる比較は、連続的または定期的に実施することができる。定期的な比較は、連続的な比較よりも少ない処理能力を使用し得るため、好ましい場合がある。比較は、行われている手技に関する外科的部位の表現、および１つ以上の以前の手技に関する対応する部位の表現の画像処理によって実施され得る。対応する部位の表現は、１つ以上の以前の手技に関連付けられたモデルの平均値に基づき得る。手技で行為が行われている場合、いかなる行為も行われていない場合よりも比較的大きなレートで比較を実施することが好ましい場合がある。したがって、例えば、エンドエフェクタの部位における移動が、比較を実施する際に考慮され得る。移動レートがより大きい場合、比較レートは増加し得る。活動期間中のより高い比較レートにより、相対的に非活動的な期間中の処理電力を節約しながら、正確な比較を行うことができる。比較レートは、ロボットの運動学的データに依存して決定され得る。例えば、比較レートは、エンドエフェクタの一部分の速度、および／またはエンドエフェクタの動作に依存して決定され得る。
現在の手技が１つ以上の以前の手技から逸脱するという決定がなされた場合、拡張が追加され得る。逸脱は、手技のステージが実施される時間または相対的な時間に関連し得る。逸脱は、手技のステージが実施される位置に関連し得る。逸脱は、現在の手技が、１つ以上の以前の手技に基づいて、または手技計画に基づいて（標準的な計画／レシピカードまたは現在の患者だけのために書き込まれた計画のいずれかに基づいて）予想される挙動などの、予想される挙動から閾値量を超えて変動したときに、生じるように決定され得る。閾値量は、行為が実施される期間であってもよい。例えば、行為が、予想される時間よりも５秒、１０秒、３０秒、１分、２分、もしくは５分を超えて早くまたは遅く実施された場合、逸脱が生じたと決定され得る。閾値量は、外科的部位の表現内にある所定の位置からの距離であってもよい。例えば、行為が、予想される位置から１ｍｍ、２ｍｍ、５ｍｍ、１０ｍｍ、または２０ｍｍを超えて実施された場合、逸脱が生じたと決定され得る。かかるアプローチは、手技間で有用な比較を行うことを可能にする一方で、生理学的な違いなどの違いを考慮に入れることを許容する。
いくつかの実施例では、表現は、エラー状態が生じたと決定された場合に拡張され得る。エラー状態には、ロボットアームおよび／または器具の故障が含まれ得る。エラー状態が生じたと決定するための閾値は、ユーザ定義可能で、かつ／または事前に設定されてもよい。
拡張信号は、任意の所望のソース、例えば、テレマティックデータソースに依存して生成され得る。例えば、拡張信号は、器具の変化、ハンドコントローラとアームとの関連付けの変化、電気外科的モードの変化、内視鏡の移動、少なくとも１つのハンドコントローラでの再インデックス化などのうちの１つ以上を決定することに依存して生成され得る。拡張信号は、行われている本明細書に記載の行為のいずれかの特定の組み合わせに依存して生成され得る。
拡張信号は、ディスプレイ上に表示される特徴を示し得る。拡張信号には、外科的部位の表現に対するインジケータの位置を示す位置データが含まれ得る。例えば、拡張信号には、３Ｄモデルに対するインジケータの位置に関連するデータが含まれ得る。コントローラ、例えば、インプットデバイスは、位置データを提供するように構成され得る。位置データは、表示されたインジケータに依存して得られ得る。
位置データには、ロボットアームおよび／またはエンドエフェクタの１つ以上のジョイントに関連付けられたデータなどのジョイントデータが含まれ得る。ジョイントデータには、ジョイントポジションデータが含まれ得る。例えば、ジョイントポジションデータとしては、器具を支持するロボットアームのジョイントのポジション、向き、および／もしくは構成に関連するデータ、ならびに／または器具のジョイントおよび／もしくは器具のエンドエフェクタのポジション、向き、および／もしくは構成に関連するデータを挙げることができる。ジョイントデータには、運動学的データが含まれ得る。例えば、運動学的データとしては、ロボットアームおよび器具の１つ以上のジョイントのポジション、向き、および／または構成の変化に関連するデータを挙げることができる。運動学的データには、ロボットアームおよび器具の１つ以上のジョイントのポジション、向き、および／または構成の変化のレートに関連するデータが含まれ得る。運動学的データには、ポジションの変化が生じた１つ以上のジョイントの初期のポジションのデータが含まれ得る。かかる位置データの提供は、インジケータとしてエンドエフェクタが作用する場合に特に有用である。かかる事例では、インジケータ（すなわち、エンドエフェクタ）の３Ｄポジションは既知である。したがって、拡張は、非常に正確な様式で表現に追加され得る。このアプローチはまた、位置データがシステムに既に存在し、再計算される必要がないため、必要とされる処理の観点から節約を提案し得る。
表示された表現内にある特徴のより正確な識別が所望される場合、２つ以上の位置で特徴をタグ付けすることが可能である。タグは、特徴上の離間した、例えば、横方向に離間したポジションでインプットされ得る。いくつかの実施例では、１つのタグと別のタグとの間で表現の向きまたはズームを変更することが望ましい場合がある。いくつかの実施例では、１つのタグと別のタグとの間で視認条件を変更することが望ましい場合がある。視認条件には、視界が２Ｄ視界であるか３Ｄ視界であるか、画像コントラスト、画像着色、および／もしくは陰影付け、ならびに／または画像強化が存在するかどうかが含まれ得る。いくつかの実施例では、患者が１つのポジションにいる状態で１つ以上のタグによって特徴を示し、その後、患者を移動させることができる（かかる移動には、患者の１つ以上の肢を移動させること、および／または上に患者が置かれている手術台の向きを移動させることなどが含まれ得る）。場合によっては、患者の移動により、外科的部位の部分を互いに対して移動させることができる。例えば、患者の向きの変化により、器官を、異なる重力効果により移動させることができる。患者が新しいポジションにある状態で、同じ特徴を１つ以上のタグによってタグ付けすることができる。このようにして特徴をタグ付けすることにより、患者の移動または他の同様の効果に対するシステムの堅牢性を補助することができる。例えば、異なる患者のポジションで特徴をタグ付けすることにより、その特徴を、間に患者がポジションを変化させる可能性がある手技中に追跡することを可能にするのを補助することができる。画像処理を実施して、２つ（またはそれ超）のタグ付けされた位置が同じ特徴の部分、例えば、動脈に沿って離間された点、または腎臓上の異なるポジションにある点であるかどうかを識別することができる。１つの点が１つの特徴上（仮に動脈上）にあり、別の点が（動脈上ではない）異なる特徴上にある場合、システムは、１つ以上のさらなる点をタグ付けするようにユーザにプロンプトし得る。特徴は、その特徴にないタグと比較した、その特徴にあるタグの相対的な数に依存して、拡張が望まれる特徴として選択され得る。このように、偶発的なタグは、時間がかかる場合があるユーザによる除去または調節の必要はないが、代わりに、１つ以上の追加のタグを作って、拡張する特徴を示すことができる（これは、ユーザにとってより迅速な場合がある）。
表現が拡張されると、拡張は、例えば、自動的にまたはユーザによって移動可能になり得る。拡張は、ディスプレイ上に拡張をドラッグアンドドロップすることによって移動可能であってもよい。コントローラは、例えば、コンピュータマウスカーソル、インプットデバイス、および／または第２のインプットデバイスを介して、かかるドラッグアンドドロップを可能にするように構成され得る。
述べられるように、拡張は、フリーテキストを使用すること、および／またはラベルのセットから選択することによって、ユーザによりラベル付けすることができる。拡張のラベル付けは、自動的にまたは少なくとも部分的に自動的に行われてもよい。例えば、表現は、プロセッサ５２１または画像プロセッサ５２２によって処理することができ、画像認識技術を使用して、特定の特徴が何であるかを提案することができる。場合によっては、かかる画像認識技術を単独で使用することが困難な場合がある。これは、撮像された外科的部位が、十分に高いコントラストを有していない場合があり、かつ／または十分に照明されていない場合があるためである場合がある。有利には、本技術は、画像処理の強化を可能にする。現在の手技のための部位の表現と、以前の手技および／またはモデルの１つ以上の表現との比較を行うことができる。以前の手技および／またはモデルの表現には、好適には、少なくとも１つのラベル付けされた特徴または既知の特徴が含まれる。現在の表現内にある特徴が、以前の表現内またはモデル内にある特徴と同じまたは同様であると決定された場合、以前の表現またはモデル内にあるその特徴のラベルは、ユーザによる選択のために利用可能にされ得るか、または現在の表現内にある特徴の拡張に自動的に適用され得る。ラベルが選択のためにユーザに利用可能にされるか、または自動的に適用されるかに関する決定は、ラベルに関連付けられた信頼因子に依存して行われてもよい。このアプローチにより、システムは、同様のタイプの手技および／または手技のモデルに関してデータベースを構築することによって、異なる特徴の識別を「学習」することができる。したがって、自動ラベル付けまたは可能なラベルの提案を、より正確に行うことができる。これにより、特徴を正しくラベル付けする際にユーザの時間を節約することができる。特徴のより正確なラベル付けにより、これらのラベルに基づくタスクの正確さを増加させることができる。
プロセッサは、解剖学的な特徴、例えば、器官または血管などの表現の拡張および／もしくは特徴を監視または追跡するように構成され得る。いくつかの実施例では、解剖学的な特徴などの特徴は、自動的に決定され得る。例えば、システムは、画像処理によって特徴を決定し得る。この拡張および／もしくは特徴の監視または追跡は、外科的部位の表現が変化する場合に有用である。例えば、表現の視認ポジションは変化し得る。これは、例えば、撮像デバイスの位置および／または向きの変化で生じる可能性があるため、視認ポジションの横方向の移動または視認ポジションの角度の変化に起因し得る。有用なことに、システムは、ディスプレイ上に表示される表現の一部分が変化するにつれて、拡張が、外科的部位の表現に対して、そのポジションを保持するように構成される。例えば、撮像デバイスが右に移動することにより、その撮像デバイスの画像アウトプットに基づく表現がディスプレイ上で左に移動する場合、拡張もまた左に移動する。システムは、好適には、拡張が外科的部位の表現と位置合わせされて移動するように構成される。すなわち、システムは、拡張が表現と一緒に移動するように構成される。例えば、拡張が、表現内にある特定の特徴に追加される場合、拡張は、好適には、その特徴の移動と一緒に移動する。特徴のかかる移動は、外科的部位の表現に関してパンおよび／またはズームの変化で生じ得る。特徴の移動は、他の方式で行われてもよい。例えば、外科的手技は、特徴を移動させることを伴い得る。器官などの特徴は、呼吸、心拍、および重力（例えば、患者台が調節されたとき）のうちの１つ以上に起因して移動し得る。
上述のように、拡張は、手動でおよび／または自動的に追加され得る。拡張は、拡張基準が満たされていると決定することに依存して追加され得る。プロセッサ５２１は、拡張基準が満たされているかどうかを決定するように構成され得る。
拡張基準は、外科用器具がシステムに取り付けられ、システムから取り外されているかどうか、外科用器具がシステムによって操作されているかどうか、および／または外科用器具の状態に変化があるかどうかを決定することを含み得る。拡張基準は、外科的部位の表現における画像認識のマッチングを示す画像認識信号があると決定することを含み得る。これは、例えば、表現内にある特徴が画像認識によって、腎臓などの特定の特徴であると決定された場合に、かかる画像認識のマッチングを行って、それに応じて表現の拡張をトリガするのに有用である。
拡張基準は、外科用ロボットシステムに関連付けられたエラーを示すエラー信号があると決定することを含み得る。拡張基準は、特定の時間に到達したこと、または特定の時間が経過したことを決定することを含み得る。より全般的には、例えば、プロセッサ５２１によって、拡張基準が時間信号に依存して満たされているかどうかを決定することができる。例えば、拡張基準は、特定の時間に、または特定の時間枠内で行われる特定の行為を含み得る。これは、所与の期間内に行われるステッチまたは一連のステッチを含み得る。
時間信号は、１日の時間を示す信号を含み得る。時間信号は、手技の開始から経過した時間、および／または手技中の事前に定義された点を示す信号を含み得る。事前に定義された点は、例えば、切断手技の開始もしくは終了、縫合手技の開始もしくは終了、および／または電気焼灼手技の開始もしくは終了であってもよい。時間信号は、手技、例えば、切断、縫合、および電気焼灼手技のうちの１つ以上の持続時間の表示を含み得る。
拡張基準は、外科用ロボットシステムのユーザの変化が存在すると決定することを含み得る。ユーザの変化を示す信号は、外科医がインプットデバイスを制御して、例えば、インプットデバイスをエンドエフェクタのアクティブ制御から切り離すようにインプットデバイスをクラッチから外すことによって、手技を一時停止していること、および手技が別の外科医によって再開されていること、を示すことができる。ユーザの変化を示す信号は、１つのコンソールにいる外科医が、別のコンソールにいる外科医から引き継いでいることを示すことができる。これは、外科的手技中または外科的手技の中断中に生じ得る。
ユーザの変化が存在するとの決定は、ユーザ変化信号などの信号に依存して行われ得る。システムのユーザが、システムのユーザに関連付けられたログインまたは位置合わせに依存して変化したと決定され得る。システムのユーザが、ユーザに関連付けられた認識信号に依存して変化したと決定され得る。認識信号は、撮像デバイスまたは視覚プロセッサからアウトプットされてもよく、これらは、例えば、ユーザのグループからあるユーザを識別するために顔認識を実施し、かつ／または例えば、ＱＲコード（登録商標）などの２Ｄコードでパターン認識を実施するように構成され得る。認識信号は、無線信号を検出するように構成された無線受信デバイスからアウトプットされ得る。無線受信デバイスは、ＷｉＦｉ（商標）信号、Ｂｌｕｅｔｏｏｔｈ（商標）信号、および／またはＲＦＩＤ信号などの無線周波数信号を検出するように構成され得る。これらのタイプの信号の少なくとも１つを発するユーザによって運ばれるデバイスを使用して、ユーザ間を区別し、かつ任意選択で、特定のユーザを識別することができる。
表現の「オフライン」拡張
上の実施例で説明されるように、拡張は、手技中に追加され得る。拡張は、追加的または代替的に、手技前または手技後に追加され得る。拡張は、手技が開始される前に、例えば、計画段階で追加され得る。手技が開始される前に、外科的部位の撮像デバイスからの「生の」画像フィードは存在しない。したがって、好ましくは、手技が開始される前に、拡張が、部位の３Ｄモデルなどのモデルに追加される。かかる３Ｄモデルは、いくつかの方式のうちの１つで生成され得る。例えば、３Ｄモデルは、ＭＲＩスキャンなどのスキャンから導出され得る。３Ｄモデルは、１つ以上の患者関連パラメータに従って選択され得る、ステレオタイプから導出され得る。３Ｄモデルは、２つ以上のステレオタイプから導出され得る。例えば、３Ｄモデルは、異なるステレオタイプの重み付けされた組み合わせから導出され得る。
コントローラは、好適には、手技中に、予想される表現を可視化するために、モデルを通してナビゲートすることができるように構成される。例えば、これは、インプットデバイスおよび／または第２のインプットデバイスによって行うことができる。
計画段階では、外科的部位の表現を拡張することは、対象となる可能な面積および／または予想される外科的介入の位置を識別することができるようにするために有用である。かかる計画段階では、拡張は、外科医または他の医療従事者によって追加され得る。例えば、拡張は、研修外科医または看護師によって追加され得る。計画段階で追加されるかかる拡張は、それほど正確である必要はない。概略の面積または特徴を示すのに十分であり得る。かかる拡張は、例えば、血管、器官、腫瘍、安全／切除端および／または骨構造などの主要な特徴および／または主要な特徴の方向を識別することによって、全体的な外科的部位におけるおおよその位置を示し得る。かかる表示は、手技中に外科医が必要とする時間を低減し得る。例えば、外科医が自身を外科的部位内に位置特定するのを補助することによって、拡張は、外科医の時間および／または労力を節約することができる。これは、手技に必要な全体的な時間を低減するのに役立つ場合があり、これは、本明細書の別の場所で考察されるように、患者および病院の両方にとって利点を有し得る。
手技中に、拡張を追加して、対象となる面積をハイライトすることができる。これらには、外科医が手技中に戻ることを望む場合がある点が含まれ得る。これは、外科医が、より詳細なチェックを保証する、予想外の何かに気づいたためである可能性がある。かかる拡張は、対象となる単一の点（器官など）、または対象となる複数の点（例えば、複数の器官もしくは同じ器官に関する複数の点）を示し得る。
より高いリスクまたは危険性の面積を示すために、外科医によって拡張を追加することができる。例えば、拡張によって、動脈などの血管の位置をハイライトすることが望ましい場合がある。これは、外科医が血管を回避するのを補助し得るため、手技中に意図しない出血を引き起こすリスクを低減し得る。
拡張を追加して、手技のウェイポイントを示すことができる。かかるウェイポイントは、ユーザ（研修生または経験の少ない外科医など）を誘導するのに有用であり得る。このアプローチにより、ユーザは、横断した経路をより迅速に引き返すことができ、これにより、手技の完了に必要な時間の低減が可能となる。ウェイポイントは、生の手技、または生の手技のシミュレーションのいずれかの間に、研修生または経験の少ない外科医を誘導するのに有用であり得る。
拡張は、縫合、切断、電気焼灼手術、および／または組織の把持点の位置に追加され得る。概して、拡張は、エンドエフェクタが動作可能であるか、または動作可能になる点で追加され得る。このように外科的部位の表現を拡張することにより、活動部位を追跡することができる。これらの活動部位の３Ｄ位置は、拡張に基づいて決定され得る。これにより、手技のまたは手技中の特定の活動の後期の分析が可能となる場合がある。
拡張は、手技が完了した後に追加され得る。かかる拡張は、手技の記録されたフィード、および／または手技からもしくは手技中に得られたデータに依存して構築されたモデルに追加され得る。拡張は、改善のための可能な面積を示し得る。かかる拡張を手技が完了した後に追加することは、手技のレビューが、手技自体中よりもストレスの少ない環境で行われ得ることを意味する。したがって、手技中に可能であり得るものよりも高いレベルの分析を実施することができる。いくつかの実施例では、拡張は、縫合部位の最適な位置および／または離間を示し得る。かかる拡張は、レビュー中の手技と同じまたは同様の後期の手技で生じ得る潜在的な問題についてのユーザ間の意識を高めることができる。このように意識を高めると、後期の手技における望ましくないインシデントの数を低減することができ、これにより、例えば、これらの後期の手技の効率を増加させることができ、かつ／または手技中の合併症の数を低減することができる。
外科的部位の表現に追加された拡張を、いくつかの異なる方式で使用することができる。拡張が使用され得る方式の一実施例は、手技中の外科医の向き付けを助けることである。拡張により、外科医が見ている部位の場所の表現に表示を追加することができる。例えば、腎臓などの器官をラベル付けすることによって、外科医は、部位をよりよく理解するため、エンドエフェクタを制御し、かつ／または部位の周りでより簡単に移動させることができる。これについては、以下でより詳細に考察する。
拡張のグループ化
拡張を、拡張の１つ以上のグループに追加することができる。複数の拡張を、拡張の特定のグループに追加することができる。拡張は、これらの拡張に共通する特性に従ってグループ化され得る。例えば、拡張は、
●拡張が追加される点にいるシステムのユーザ、
●拡張を追加するユーザ、
●行われている手技、
●行われている手技のタイプ、
●拡張されている特徴のタイプ（例えば、器官、血管、組織および／もしくは骨、損傷部および／もしくは患部）、
●拡張されている特徴（例えば、特定の器官または血管）、
●行為が所望される点（すなわち、切開点を含み得る「やること」リスト」）、
●時間（例えば、過去１時間または過去３０分間に追加されたすべての拡張）、
などのうちの１つ以上に従ってグループ化され得る。
異なるグループの拡張は、ディスプレイ上で区別され得る。例えば、システム（例えば、プロセッサ５２１）は、異なるグループでの拡張を異なってハイライトするように構成され得る。拡張は、異なる色のうちの１つ以上の色によって、異なるフォントおよび／もしくはサイズのラベルを有すること、異なる輪郭を有すること、ならびに点滅すること、または異なる周波数で点滅することによって、ハイライトされ得る。
システムは、好適には、特定の拡張が属する拡張のグループに依存して、拡張を表示または非表示にするように構成される。これにより、ユーザが特定のタイプの拡張を識別し、かつそれにより、これらの拡張に依存して行為を行うことができる、使いやすさが増加する。
システム、例えば、プロセッサ５２１は、１つ以上の拡張に依存して計算を実施するように構成され得る。好適には、計算は、自動的に実施され得る。例えば、システムは、追加される拡張の数、または拡張の特定のグループ内の拡張の数を自動的にカウントし得る。例えば、拡張のグループは、胃などの特徴に沿って延在するテンドリルに関連し得る。外科医は、一部のテンドリルが互いに離れる方向に面して胃の側面上にある場合があるため、すべてのテンドリルを見るために部位の周りを移動する必要がある場合がある。外科医は、すべてのテンドリルに関する拡張を一度に追加する必要はない。拡張は、手技の異なるステージにおいて追加することができ、かつ実際には、２つ以上の手技であっても追加することができる。かかる状況では、テンドリルの数を正しく覚えることは困難な場合がある。２人以上のユーザが拡張を追加した可能性がある。したがって、システムが、例えば、拡張の「テンドリル」のグループ内の拡張数のカウントを提供する場合に有用である。
システムは、複数の拡張間の距離、または拡張のグループ内の複数の拡張間の距離を決定するように構成され得る。複数の拡張間の距離には、拡張間の最大距離、例えば、（外科的部位の表現の２Ｄまたは３Ｄ空間において）互いに最も離れている２つの拡張間の距離が含まれ得る。複数の拡張間の距離には、拡張間の最小距離、例えば、（外科的部位の表現の２Ｄまたは３Ｄ空間において）互いに最も近い２つの拡張間の距離が含まれ得る。複数の拡張間の距離には、複数の拡張間の距離の平均値（例えば、平均、モード、もしくは中央値のうちの１つ以上）、または複数の拡張のサブセットが含まれ得る。複数の拡張間の距離には、後続の拡張間の距離が含まれ得る（すなわち、３つの拡張の場合、合計距離は、第１の拡張と第２の拡張間の距離と、第２の拡張と第３の拡張間の距離との合計であり得る）。このアプローチにより、ユーザは、特徴の長さに沿って拡張を追加することができ、次いで、システムは、その特徴の長さを決定することができる。
システムは、特徴の向きを決定するように構成され得る。例えば、システムは、その特徴に関連付けられた２つ以上の拡張をつなぐ線（複数可）に依存して、特徴の向きを決定するように構成され得る。向きは、例えば、手術台、体腔、外科的部位で識別または選択された別の特徴などの参照の便利な枠に関して決定され得る。
システムは、さらに２つの拡張間の線、または拡張のグループ内の複数の拡張間の線を示すように構成され得る。線は、ディスプレイおよび／または別のディスプレイ上で視認可能であってもよい。このように線の表示は、テレストレーションに有用であり得る。テレストレーション機能を提供することは、例えば、手技中または手技を行う前の訓練中の、教示および／またはガイダンスに有用であり得る。システムは、選択されたすべての拡張、最良適合線、および拡張に基づくスプラインをつなぐドット間の線の１つ以上に依存して、線を示すように構成され得る。システムは、２Ｄまたは３Ｄで線を示すように構成され得る。
システムは、複数の拡張または拡張のグループ内の複数の拡張によって囲まれた面積を決定するように構成され得る。複数の拡張によって囲まれた面積には、多角形の面積が含まれ得、多角形の角ごとに拡張がある。複数の拡張によって囲まれた面積には、３Ｄモデルの特徴に投影された複数の拡張によって囲まれた面積が含まれ得る。例えば、複数の拡張は、器官などの湾曲した特徴の上に位置し得る。複数の拡張によって囲まれた面積には、拡張が投影される湾曲した特徴の表面積が含まれ得る。このアプローチにより、２Ｄディスプレイ上への特徴の投影の面積よりも有用であり得る、外科的部位の表現内にある特徴の表面を決定することができる。
システムは、複数の拡張または拡張のグループ内の複数の拡張によって囲まれた体積を決定するように構成され得る。複数の拡張によって囲まれた体積には、例えば、外科的部位の３Ｄモデルにおける３Ｄ空間内の拡張の位置によって囲まれた体積が含まれ得る。複数の拡張によって囲まれた体積を決定することにより、外科的部位にある特徴の体積の決定が可能になり得る。例えば、拡張を腫瘍の表面にわたって追加することができる。システムは、好適には、その腫瘍に関連付けられた拡張の３Ｄ空間内の位置に依存して、腫瘍のサイズまたはおおよそのサイズを決定するように構成される。
システム、例えば、プロセッサ５２１は、エンドエフェクタが、指定された点、線、面積、もしくは体積に進入すること、またはこれらの中で、これらを通過して、もしくはこれらの近くで移動することを制限するように構成され得る。指定される点、線、面積、または体積は、拡張の１つ以上のグループ内の１つ以上の拡張によって画定され得る。例えば、拡張は、動脈などの特徴の上にまたは特徴に沿って追加され得る（これは、計画段階で行われてもよい）。動脈に関連する拡張は、拡張の「動脈」グループ内にあってもよい。さらなる拡張が、静脈（または他の特徴）に関して追加されてもよい。静脈に関連する拡張は、拡張の「静脈」グループ内にあってもよい。システムは、１つ以上の選択された特徴を取り囲む体積へのエンドエフェクタの進入を制限するように構成され得る。例えば、システムは、拡張の「動脈」グループおよび「静脈」グループ（または、拡張の「動脈」グループおよび「静脈」グループを含む、拡張の「血管」グループ）の一方もしくは両方を取り囲む体積へのエンドエフェクタの進入を制限し得る。これにより、外科医が手技中に特徴（ここでは、動脈または静脈）を偶発的に損傷するリスクを低減することができる。システムは、かかる点、線、面積、もしくは体積の事前に設定された距離内でのエンドエフェクタの運動を制限または防止するように構成され得る。システムは、制限された点、線、面積、もしくは体積（または、概して、任意の指定された拡張もしくは拡張のグループ）に対するエンドエフェクタの一部分の近さに依存して、フィードバック（例えば、（例えば、インプットデバイスの）可聴音もしくは振動などの視覚的および／または触覚的フィードバック）を提供するように構成され得る。このアプローチにより、組織の損傷が生じる可能性を低減する一方で、エンドエフェクタを他の場合よりも迅速に移動させることができる場合がある。したがって、かかるアプローチにより、手技のスピードアップを補助することができ、これにより、患者の回復時間を改善することができる。
ここで図６を参照して、外科的部位の表現を拡張するための方法を示す。任意選択で、撮像デバイスを使用して、外科的部位６０２の少なくとも一部分を撮像することができる。任意選択で、外科的部位６０４の、２Ｄまたは３Ｄモデルなどのモデルを得ることができる。外科的部位の表現は、６０６で得られる。外科的部位の表現は、６０２でキャプチャされた外科的部位の画像、および６０４で得られた外科的部位のモデルの一方または両方に依存して得られ得る。６０８では、表現が表示される。例えば、表現は、ディスプレイ上に表示され得る。ディスプレイ上のインジケータが制御される６１０。インジケータは、好適には、コントローラでインプットデバイスによって制御される。６１２では、拡張信号が受信される。拡張信号は、コントローラによって、例えば、インプットデバイスによってアウトプットされ得る。拡張信号を受信することに応答して、外科的部位の表現が拡張される６１４。外科的部位の表現は、ディスプレイ上のインジケータのポジションに依存して拡張され得る。
外科的部位６０４のモデルを得ることは、部位の記憶されている表現に依存して行われ得る。ディスプレイ上で視認可能なエンドエフェクタには、インジケータが含まれ得る。本方法は、エンドエフェクタを制御することによってインジケータを制御することを含み得る。
向きの拡張
述べられるように、１つ以上の拡張を表現上にまたはその一部として提供して、表現の向き付けを支援することができる。かかるナビゲーション支援により、表示された表現の理解を強化し、ロボットシステムのユーザがロボットシステムを使用して手技を実施することができるスピードおよび／または精度を増加させることができる。
プロセッサ５２１は、いくつかの実施例では、撮像デバイス信号を受信するように構成される。撮像デバイスは、撮像デバイス信号をアウトプットするように構成され得る。撮像デバイス信号は、例えば、外科的部位または何らかの他の適切な基準枠（例えば、（移動可能であり得る）患者台もしくは手術室）に対する、撮像デバイスの位置および向きのうちの少なくとも１つを示す。これにより、プロセッサは、撮像デバイスを使用して視認可能な外科的部位の一部分の位置および向きを決定することができる。すなわち、プロセッサは、撮像デバイスの画像フィードが関連する、および表示され得る、外科的部位の一部分を決定することができる。上で考察されたように、外科的部位の表現は、画像フィードおよび／または３Ｄモデルに基づき得る。したがって、撮像デバイス信号により、プロセッサは、撮像デバイスによって視認されている外科的部位の一部分を決定することができる。プロセッサは、外科的部位の撮像部分を３Ｄモデルとマッチングさせるように構成され得る。いくつかの実施例では、外科的部位の撮像部分は、３Ｄモデルと同じであっても、３Ｄモデルにほぼ近いものであってもよい。これは、画像内の器官および血管が３Ｄモデルにおけるものと同じまたはほぼ同じ相対的な位置にあるときの場合であり得る。しかしながら、器官および血管は、必ずしも同じように互いに一緒に移動するわけではない。患者が傾けられると、例えば、異なる器官および／または血管（もしくは実際に他の任意の内部構造）が異なって挙動し得る。異なる挙動は、少なくとも部分的に組織の相対的な「フロップ性」（または弾性）に起因し得る。好適には、３Ｄモデルおよび／またはプロセッサは、組織のフロップ性に関するデータまたは仮定へのアクセスを有する。例えば、患者の角度に変化があり、組織を移動させる可能性がある場合、器官および血管などの組織の新しいポジションは、組織の各々に関連付けられたフロップ値（または相対的なフロップ値）に依存して推定され得る。更新された３Ｄモデルを、推定されたポジションに基づいて生成することができる。このようにして、プロセッサは、外科的部位の撮像部分を３Ｄモデルおよび／または更新された３Ｄモデルとマッチングさせるように構成され得る。このアプローチは、撮像された視界を３Ｄモデルと正しく整列させることができるため、画像フィードおよび３Ｄモデルの両方に依存して表現を生成することを容易にする。表現は、撮像デバイス信号に依存して拡張され得る。プロセッサは、拡張された表現の少なくとも一部の表示を引き起こすためのディスプレイ信号をアウトプットし得る。システムは、拡張された表現の少なくとも一部を表示するように構成された、ディスプレイを備え得る。
手技中、撮像デバイスは通常、移動される。すなわち、撮像デバイスの位置および向きのうちの少なくとも１つが変化する。撮像デバイスのズームは変化し得る。好適には、プロセッサは、さらなる撮像デバイス信号を受信するように構成される。さらなる撮像デバイス信号は、好適には、撮像デバイスの更新された位置および／または向きを示し、かつ／または撮像デバイスの更新されたズームもしくはパン状態を示す。プロセッサは、好適には、撮像デバイス信号およびさらなる撮像デバイス信号に依存して、撮像デバイスの位置、撮像デバイスの向き、撮像デバイスのズーム、および撮像デバイスのパン状態のうちの少なくとも１つの変化を決定するように構成される。プロセッサは、決定された変化に依存して、拡張された表現を更新するように構成され得る。プロセッサは、表現上または表現に適用される拡張を更新することによって、拡張された表現を更新するように構成され得る。
表現は、器官、血管、もしくはより全般的には１つ以上の解剖学的な特徴、および／またはステッチ、切開、電気焼灼行為などのうちの１つ以上の部位など、表現の特徴に基づいて拡張され得る。拡張は、外科的部位の表現の向きを示すことができる。表現は、別の拡張、例えば、初期に追加された拡張に基づいて拡張され得る。他の拡張は、１つ以上の解剖学的な特徴に基づき得る。例えば、システムは、解剖学的な特徴の表現内の存在を検出するように構成され得る。この検出は、画像マッチングなどのような画像処理によって実施され得る。例示の実施例では、システムは、腎臓が表現内に存在する（それがディスプレイ上で視可能であるかどうかにかかわらず、例えば、視認されている表現の部分は、腎臓を含む表現の部分を含まない場合がある）ことを識別し得る。腎臓は、例えば、本明細書に記載の１つ以上の技術などに従って、ラベル付けされ得る。かかるラベルは、拡張として追加され得る（この場合もまた、ディスプレイ上で視認可能であるかどうかにかかわらず）。表現は、この拡張に基づいて（すなわち、この実施例では、「腎臓」というラベルに基づいて）さらに拡張され得る。別の実施例では、表現は、腎臓に関して最初に表現を拡張する必要性なしに、腎臓が表現内に存在するという決定に依存して、拡張され得る。
表現の向きを示す拡張は、いくつかの形態のうちの１つをとり得る。拡張は、上方方向（例えば、重力に対して、または患者台と直角をなす）、および全体または身体の一部としての外科的部位の一部分に向かう（例えば、トロカール挿入位置または患者の頭部に向かう）方向のうちの１つ以上を示すことなどによって、表現の「全体的な」向きを示すことによって、向きを示し得る。拡張は、解剖学的な特徴、例えば、全体として外科的部位に対して移動し得る解剖学的な特徴の位置を示すことなどによって、表現の「局所的な」向きを示すことによって、向きを示し得る。例えば、器官（または他の解剖学的な特徴）が手技中に移動し得る。器官は、患者が移動するにつれて重力によって移動し得る。器官は、呼吸によって移動し得る。器官は、外科医によって移動され得る。いくつかの実施例では、拡張は、「画面外」の、すなわち、表示された表現の部分にない特徴の方を指し得るか、または別様にその特徴を示し得る。
拡張、例えば、「全体的な」向きを示す拡張には、人工的な地平線が含まれ得る。この実施例は、図１０に例示される。例えば、線または平面１００２（３Ｄ拡張上など）は、水平な線または平面を示し得る。拡張は、外科的部位の一部分（上述の実施例では、トロカール挿入点など）またはより全般的には対象となる特徴に向かう方向および／または距離の表示１００４を含み得る。例えば、対象となる特徴の方を指す矢印１００４が提供され得る。矢印は、２Ｄで、または３Ｄで提供されてもよい。いくつかの実施例では、線または平面、および矢印の両方が提供され得る。例えば、拡張は、球体１０００と、球体内で回転して、重力的に水平な平面を示すことができる平面１００２と、対象となる特徴に向かう方向を示す、球体内に提供され得る１つ以上の矢印１００４（例えば、球体の中心と球体の外側表面との間に延在する放射状の矢印）と、を含み得る。球体は、任意の便利な様式で例示され得る。球体は透明であってもよい。球体は、経度および／または緯度の１つ以上の線によって示され得る。
プロセッサは、対象となる特徴までの方向および距離のうちの少なくとも１つを決定するように構成され得る。対象となる特徴までの距離は、表現に投影された画面の境界の決定、および／または表現が基づく３Ｄモデルに依存して決定され得る。対象となる特徴までの距離は、解剖学的なモデル、例えば、３Ｄモデルに依存して決定され得る。対象となる特徴までの距離は、１つ以上の拡張のモデル内の位置に依存して決定され得る。例えば、血管などの所与の特徴に関連付けられた拡張が追加されている場合、その拡張の位置は、関連付けられた特徴、例えば、血管の位置を示すものとしてとられ得る。したがって、何らかの他の点（表現に投影された画面の境界など）から、かかる拡張の位置までの距離は、その関連付けられた特徴までの距離としてとられ得る。
拡張は、対象となる特徴に向かう距離の表示を含み得る。距離は、画面のエッジ上の点（すなわち、表現の表示された部分のエッジにある点）から、画面の中心（もしくは表現の表示された部分）から、または所望の任意の他の点から測定され得る。距離は、対象となる特徴の最も近いエッジ、対象となる特徴の中心点、対象となる特徴の最も近いエッジと最も遠いエッジとの間の中間点、または所望の任意の他の点まで測定され得る。好ましくは、距離は、対象となる特徴に最も近い表現の表示された部分のエッジにある点から、表現の表示された部分に最も近い対象となる特徴のエッジまでの距離として測定される。すなわち、距離は、表現の表示された部分と対象となる特徴間の最短距離として決定され得る。表現の表示された部分に最も近い対象となる特徴の部分は、撮像デバイスの位置、向き、ズーム、および／またはパンの変化に応じて変化し得る。それに応じて、プロセッサは、距離の決定を自動的に更新するように決定され得る。拡張は、対象となる特徴までの距離を、例えば、ミリメートルで提供するテキストラベルを含み得る。任意の他の単位を使用することができる。測定値の単位および／または測定値の精度は、選択可能、例えば、ユーザ選択可能であってもよい。使用する測定値の単位、およびその測定値を表示する精度は、ユーザプロファイルにおいて事前に設定され得る。
したがって、対象となる特徴が表現の表示された部分で視認不可能な場合、拡張は、その対象となる特徴が位置する場所の表示を提供し得る。この表示には、その対象となる特徴までの方向および距離が含まれ得る。これにより、外科医などのユーザは、表現を用いて、提示されたときにより迅速に自身の方位角を得ることができ、かつ／または外科的部位を通したナビゲーションの際に自身の方位角を失うリスクを低減することができる（かかるナビゲーションが、３Ｄの部位内の並進運動および／または回転運動を含み得る場合）。
特徴は、表現の一部を表示するディスプレイ上で視認不可能な場合、表現の表示された部分に存在しないと考慮され得る。特徴は、表現内にあり、かつ／または表示された表現の視野の外側にある別の特徴によって塞がれている場合、表現の表示された部分に存在しないと考慮され得る。
２つ以上の向きの拡張を提供することができる。かかる拡張は各々、対象となるそれぞれの特徴の方を指し得るか、または別様にその特徴を示し得る。２つ以上のかかる拡張は、対象となる同じ特徴の方を指し得るか、または別様にその特徴を示し得る。例えば、２つのかかる拡張が、ディスプレイの右上隅および左上隅に１つずつ提供される場合、これらの拡張は一緒になって、単一の拡張によって提供される情報に追加の情報を提供することができる。例えば、各拡張と対象となる特徴との間の相対的な距離の比較によって、対象となる特徴が（ディスプレイに対して）中央に位置するか、または一方の側もしくはもう一方の側に位置するどうかを容易に確かめることができる。したがって、かかる拡張の組み合わせを使用して、表現のより正確な向きを得ることができる。
拡張には、特徴に向かう距離、例えば、画面のエッジと特徴（例えば、画面エッジに対して特徴の最も近い部分）間の距離の表示が含まれ得る。特徴に向かう距離の表示は、点滅、点滅の周波数、色、サイズ、形状、輪郭、透明性、半透明性、ならびに／またはこれらおよび／もしくは他の拡張の視覚的な特徴のうちのいずれか１つ以上といった任意の便利な様式で提供され得る。拡張は、決定された距離に依存して選択または表示され得る。対象となる特徴までの距離を示すことができる拡張のいくつかの実施例が図７に例示される。
図７ａは、対象となる特徴の方を指し得る矢印７０１を例示する。図７ａの矢印は、幅ｗ１のシャフトを有する。図７ｂは、対象となる特徴の方を指し得る別の矢印７０２を例示する。図７ｂの矢印は、幅ｗ２のシャフトを有する。ｗ１は、ｗ２よりも大きく、これは、矢印７０１から対象となる特徴までの距離が、矢印７０２から対象となる特徴までの距離よりも大きいことを示し得る。いくつかの実施例では、比較的大きい矢印の幅は、対象となる特徴までの比較的短い距離を示し得る。
対象となる特徴までの距離を示すように変化させることができる拡張の別の特徴を、図７ｂおよび図７ｃの矢印の比較によって見ることができる。図７ｂの矢印７０２は、幅ｗ３の矢じりを有する。図７ｃの矢印７０３は、幅ｗ４の矢じりを有する。ｗ３は、ｗ４よりも大きく、これは、矢印７０２から対象となる特徴までの距離が、矢印７０３から対象となる特徴までの距離よりも大きいことを示し得る。いくつかの実施例では、比較的大きい矢じりの幅は、対象となる特徴までの比較的短い距離を示し得る。
矢印のシャフトの幅および／または矢じりの幅は、対象となる特徴までの距離に基づき得る。例えば、矢印のシャフトおよび／または矢じりの幅は、対象となる特徴までの距離に比例または反比例し得る。いくつかの実施例では、矢印のシャフトおよび／または矢じりの幅は、対象となる特徴までの距離に対して線形に比例し得るか、線形に反比例し得るか、対数に比例し得るか、または対数に反比例し得る。
矢印のシャフトおよび／または矢じりの幅の減少は、対象となる特徴がディスプレイのエッジまたは境界により近づいていることを示し得る。シャフトおよび／または矢じりの幅が「ゼロ」であると、対象となる特徴が境界にあることを示し得る。拡張（ここでは、矢印）は、対象となる特徴がディスプレイ上に現れたときにディスプレイから除去され得る。いくつかの実施例では、対象となる特徴を示す拡張またはタグは、対象となる特徴が画面上に現れたときに、矢印（または他の「画面外」の拡張）を置き換え得る。いくつかの実施例では、対象となる特徴が画面外に移動すると、その特徴に関連付けられたタグは、その特徴までの方向および／または距離を示す「画面外」の拡張によって置き換えられ得る。
好適には、画面外の対象となる特徴の距離および／または方向を示す拡張は、例えば、撮像デバイスおよび／または患者組織の移動に応答して動的に更新される。
拡張のサイズの他の態様は、距離を示すように変化し得る。例えば、全体としての拡張のサイズは、決定された距離がより大きい場合に増加し得る。他の実施例では、拡張のサイズは、決定された距離がより大きい場合に減少し得る。プロセッサは、距離に依存して拡張のサイズを修正するように構成され得る。プロセッサは、最小サイズおよび最大サイズの一方または両方の範囲内で拡張のサイズを修正するように構成され得る。最小サイズおよび／または最大サイズは、選択可能、例えば、ユーザ選択可能であってもよい。
いくつかの実施例では、プロセッサは、対象となる特徴が画面上で視認可能であると決定された場合、例えば、画面のエッジから対象となる特徴までの距離がゼロになった場合に、拡張を除去するように構成される。いくつかの実施例では、プロセッサは、対象となる特徴が画面境界内の距離に延在する場合に、拡張を除去するように構成される。このアプローチをとることは、対象となる特徴が視認可能であり、かつ潜在的に、拡張が除去される前にユーザによって認識可能でもあることを意味し得る。拡張がプロセッサによって除去される、対象となる特徴の画面境界内の距離は、事前に設定することができ、かつ／または選択可能、例えば、ユーザ選択可能であってもよい。拡張がプロセッサによって除去される、対象となる特徴の画面境界内の距離は、対象となる特徴の性質、タイプ、および／もしくは分類（例えば、特徴が直ちに識別可能でない場合、拡張が除去される前に、その特徴のより多くが画面上で視認可能であることを確保することが望ましい場合がある）、ならびに／または実施されている手技に依存し得る（例えば、異なる行為を異なる特徴に対して、例えば、各々がその特定の手技にとってどれほど重要であるかに依存して、選択することができる）。いくつかの実施例では、少なくとも１つの以前の手技からのデータ、任意選択で、その手技による１つ以上の成果に関連するデータを含む、データを使用して、対象となる特徴を決定し、決定された対象となる特徴に関連して表現をいつ拡張するか、および／または決定された対象となる特徴に関連して拡張をいつ除去するかを決定することができる。例えば、かかるデータが、特定の特徴が何であるかについての混乱を示す（例えば、所与の特徴を別の特徴と間違えている）場合、その特徴を拡張用に選択することができ、かつ／またはその特徴の拡張を別の特徴の拡張よりも長く保持することができる。
図７ｄおよび図７ｅは、対象となる特徴までの距離によって変化し得る、拡張の別の視覚的な特質を例示する。例示の実施形態では、拡張は矢印である。拡張として、または拡張の一部として、他の形状を提供することができる。図７ｄおよび図７ｅは、異なる周波数で点滅する拡張を概略的に例示する。拡張を、例えば、プロセッサによって、対象となる特徴までの距離を示す周波数または相対的な周波数で点滅させることができる。例えば、点滅の比較的高い周波数は、比較的近い（または他の実施例では、さらに離れている）対象となる特徴を示し得る。
拡張は、テキストラベルを含み得る。例えば、拡張が矢印を含む場合、テキストラベルは、矢印の長さに沿って、矢印とオーバーラップして、矢印に隣接するなどして提供され得る。図７ｆおよび図７ｇは、矢印の実施例を例示し、矢印上のテキストラベルが特徴までの距離を示す。拡張が他の形状を含む場合、テキストラベルも同様に提供され得る。テキストラベルは、特徴の説明、例えば「腎臓」を含み得る。
プロセッサが、特徴までの方向および／または距離を示す拡張を除去するように構成される場合、プロセッサは、その特徴に関する記述ラベルなどのラベルを保持するように構成され得る。例えば、腎臓が画面外にある場合、腎臓までの距離および方向を示す表現に拡張を適用することができる。腎臓が画面上に現れると、拡張は、拡張の残りの部分が除去されているため、「腎臓」というラベルのみを含み得る。
好適には、プロセッサは、表現の表示された部分に存在しない特徴に依存して拡張を決定するように構成される。例えば、拡張は、画面外の特徴に依存して決定される。
いくつかの実施例では、プロセッサは、拡張データに依存して拡張を決定するように構成される。プロセッサは、拡張データを受信するように構成され得る。拡張データは、表現と関連付けられたデータを含み得る。表現に関連付けられたかかるデータは、表現と共に、または表現の一部として記憶され得る。かかるデータは、タグ付けされた（またはラベル付けされた）特徴を含み得る。かかるデータは、計画段階および／または１つ以上の以前の手技中に生成されたデータに基づき得るか、または当該データを含み得る。例えば、表現に関連付けられたデータは、実施されているか、または実施されるように計画された手技と同じか、もしくは同様のタイプのものである１つ以上の以前に実施された手技に依存して得られたデータを含み得る。いくつかの実施例では、表現に関連付けられたデータは、同じ外科医またはチームによって実施された１つ以上の以前に実施された手技に依存して得られたデータを含み得る。
いくつかの実施例では、拡張データは、表現内にある特徴を示すデータを含む。例えば、拡張データは、特徴のラベル、ならびに／または血管および器官のうちの１つ以上のエッジに関連するデータを含み得る。
いくつかの実施例では、表現内にある特徴を示すデータは、特徴グループのセットのうちの１つ以上の特徴グループを示す。特徴グループは、器官、全般的には、血管、外科的手技が実施される／実施された部位、対象となる部位、および実施される／実施されている手技に依存する部位または特徴のうちの１つ以上に関連し得る。特徴のこのグループ化により、表現の向き付けを、その手技／その時点での外科医に関連する特徴に基づけることを可能にする。このアプローチにより、より迅速な向き付けを決定することが可能になり、外科医がより迅速かつ効果的に手技を実施するのを補助する、すなわち、より良好なヒューマンマシンインタラクションを容易にする。
いくつかの実施例では、受信した撮像デバイス信号および／または受信したさらなる撮像デバイス信号は、撮像デバイスに関連する運動学的データを含む。運動学的データは、運動学的コントローラ、例えば、コマンドプロセッサユニット５２０の運動学的コントローラからのものであってもよい。運動学的コントローラは、プロセッサ５２１の一部であってもよく、または別々に提供されてもよい。このように運動学的データを使用することにより、システム内の既存の情報の使用が可能になり、表現を拡張する目的で運動学的データを別々に計算する必要はない。これにより、例えば、スピード、処理能力、およびデータ帯域幅のうちの少なくとも１つに関してシステムの効率が増加し得る。運動学的データは外科用ロボットの移動を可能にするため、運動学的データは非常に正確である。したがって、この同じ運動学的データを使用することにより、外科的部位の表現の向きの迅速かつ正確な決定が可能になる。これにより、ヒューマンマシンインタラクションを改善し、システムのユーザ、例えば、外科医が、外科的手技中に自身を、迅速に向き付けることを可能にすることができる。これにより、外科医はより迅速かつ／またはより正確に手術することができる。これは、手技の短縮（これは、患者および病院にとって望ましい）などの外科的手技の改善を容易にする。
プロセッサは、対象となる特徴の位置、例えば、解剖学的な特徴の位置を追跡するように構成され得る。プロセッサは、表現の表示された部分に対する位置を追跡するように構成され得る。プロセッサは、追跡された位置、ならびに撮像デバイスの向き、撮像デバイスの位置、撮像デバイスの視野、および表現の表示された部分の視野のうちの少なくとも１つの変化に依存して、拡張された表現を更新するように構成され得る。いくつかの実施例では、位置は、撮像デバイスによって生成される画像フィードの画像処理によって追跡され得る。いくつかの実施例では、位置は、３Ｄモデル内の位置の３Ｄ座標を処理し、モデルが撮像デバイスに対してどのように移動するかを追跡することによって追跡され得る。これらおよび他のアプローチの組み合わせが可能である。
１つ以上の手技からデータセットを構築し、かかるデータセットを使用して、向きの決定を改善することが可能である。いくつかの実施例では、プロセッサは、外科的部位の表現内にある特徴に依存して（例えば、撮像デバイスによって生成された画像フィード内の特徴に依存して）、向きを決定するように構成され得る。プロセッサは、表現内にある２つ以上の特徴に依存して向きを決定するように構成され得る。多くの異なる手技に関するデータセット（同じタイプの手技のものであってもよい）を構築することにより、非常に多くの参照特徴および参照特徴の組み合わせに基づいて、向きのより正確な決定が可能となる。外科的部位の表現内、例えば、画像フィード内の特徴（複数可）を、データセット内にある１つ以上の特徴と比較することができる。向きは、例えば、表現ならびに／または撮像デバイスの位置および向きの一方もしくは両方に依存して、予測または推定され得る。予測された向きを中心とした所望の範囲内の向きに対応するデータセットの要素を、画像フィード内の特徴（複数可）と比較するために選択することができる。画像フィード内の特徴（複数可）と最適にマッチするデータセットの要素を使用して、向きを決定することができる。例えば、向きは、最適なマッチングに関して以前に決定された向きであるように決定され得る。いくつかの実施例では、予測または推定された向きを撮像デバイスの運動学と組み合わせて、精度を増加させることができる。
いくつかの実施例では、プロセッサは、撮像デバイスの位置および／または向きに依存して、表現内にある特徴を決定（または識別）するように構成され得る。例えば、プロセッサは、生成された画像フィード内に特徴が存在すると決定し得る。プロセッサは、撮像デバイスの位置および／または向きから、撮像デバイスによって撮像されている表現の部分を決定することができる。プロセッサは、例えば、解剖学的なモデルに依存して、その特徴が何であるかを決定することができ、それに応じて表現を拡張することができる。プロセッサは、１つ以上の以前の手技から得られたデータを含むデータセットに依存して、特徴が何であるかを決定し得る。データセットには、少なくとも１つの以前の手技による１つ以上の成果が含まれ得る。例えば、特徴が以前に識別されている場合、および／または少なくとも満足のいく成果が達成された場合、その識別をプロセッサによって使用して、現在の表現内にある特徴を識別することができる。このアプローチにより、以前に識別された特徴の使用が可能になり、これらの特徴が識別された手技の成果を考慮に入れることができる。より良好な成果は、より正確な特徴の識別と正に相関することが予想され得る。したがって、成果が、質的レベルなどの閾値レベルを上回る場合に識別される特徴に焦点を当てることは、後期の特徴識別、ひいては、拡張の精度を増加させることが予想され得る。
少なくともいくつかの解剖学的な特徴は通常、外科的部位内で移動する。例えば、器官は、重力、患者の呼吸または人工呼吸、外科医による移動などのうちの１つ以上によって移動し得る。したがって、その器官の外科的部位の位置は一定にとどまらない。位置は、予測可能な様式で変化し得る。例えば、器官（またはより全般的には、対象となる特徴）は、第１の時間で第１の位置にあってもよく、第２の時間で第２の位置にあってもよい。プロセッサは、好適には、現在の時間が第１の時間であるか第２の時間であるかを決定するように構成される。プロセッサは、現在の時間が第１の時間であるか第２の時間であるかの決定、および／または特徴の決定された位置に依存して、特徴を識別するように構成され得る。
逆に、いくつかの実施例では、プロセッサは、表現内にある識別された特徴に依存して、位置および／または向きを決定するように構成される。例えば、器官などの特徴が重力の影響下で移動可能である場合、その特徴（例えば、器官）が特定の位置（例えば、重力が外科的部位に対して特定の方向に作用したときに特徴が通常移動される位置）にあるとプロセッサが決定した場合、向き（例えば、重力の方向）は、その位置に依存して決定され得る。
ユーザは、器官などの特徴をタグ付けし、既知の方式で患者を移動させ、同じ特徴を再びタグ付けすることができる。これにより、特徴の弾性の表示を与えることができ、これは、その特徴の位置を、患者が他の移動を経験する場所で推定することを可能にし得る。
上で考察されたように、特徴は、手技前、手技中、および／または手技後の様々な時点でタグ付けすることができる。特徴は、外科的部位に対して異なる位置でタグ付けすることができる。このように特徴をタグ付けすることは、かかるタグ付けに基づく後期の決定の精度を増加させるのに役立つ場合がある。このアプローチにより、所与の特徴が存在し得る、可能性の高い位置の範囲のデータセットを構築することができる。特徴が発見され得る位置は、実施されている手技、実施されている手技のステージ、手技の開始からの時間、行われている行為などのうちの１つ以上に依存し得る。特徴を複数回タグ付けすることにより、特徴の移動をより良好に特徴付けることができ、これは、これらの特徴付けに基づくより正確な決定をもたらし得る。このアプローチはまた、例えば、特徴のための可能性の高い位置の範囲を狭めるか、または所与の位置にある潜在的な特徴のリストを狭めることによって、予測器の効率を改善するのに役立ち得る。
いくつかの実施例では、プロセッサは、表示された表現の視野を特徴に対して自動的にセンタリングするように構成される。特徴は、例えば、所与の手技または特定の手技の所与の部分に対して、事前に決定され得る。特徴は、選択可能、例えば、ユーザ選択可能であってもよい。自動センタリング（または再センタリング）機能の始動は、自動センタリング信号に依存し得る。自動センタリング信号は、コントローラによって、例えば、コントローラのインプットデバイスによって生成され得る。自動センタリング信号を受信することに応答して、プロセッサは、表示された表現を識別された特徴に対してセンタリングするために、表現の表示された部分を自動的に再センタリングするように構成され得る。プロセッサは、撮像デバイスを移動させることなく、表現の表示された部分を再センタリングするように構成され得る。言い換えれば、表示された表現の視野を特定の特徴に対してセンタリングするために、撮像デバイスを移動させる必要はない。例えば、プロセッサは、撮像デバイスを移動させる必要なしに、再ズームした表現が適切にセンタリングされ得るように、表示された表現のズームを変化させるように構成され得る。このアプローチは、撮像デバイスを移動させることによって再センタリングするよりも迅速な場合がある、特徴のデジタル方式の再センタリングを容易にする。さらに、これにより、再センタリングに続いて、元の視点に戻る際に導入される位置および／または向きのエラーを回避する方式で、元の視点に戻ることができる。
かかる再センタリングが図８に例示される。図８ａは、ディスプレイ（または表現の表示された部分）８０２を示す。表現の表示された部分には、（この非常に単純化された概略的な実施例では）器官８０４および血管８０６などの特徴が含まれる。器官８０４と血管８０６との間の接合部は、表現８０２の表示された部分の右側に向かっている。この接合部は、対象となる特徴として指定され得、この接合部に関して再センタリング信号が生成され得る。応答して、プロセッサは、表現をズームして、ズームした表現をこの対象となる特徴に対してセンタリングすることができる。表現のズームした部分は、図８ａにおいて８０８の破線で示される。図８ｂは、この場合もまた器官８０４および血管８０６を含む、再センタリングされた表現を示すが、ここでは、器官８０４と血管８０６との間の接合部がディスプレイ８０２の中心に位置する。対象となる特徴のかかるセンタリングは、システムのユーザとシステム自体との間のより便利なインタラクションを可能にし得る。これは、対象となる特徴のセンタリングにより、その対象となる特徴を、表現の表示された部分において、よりはっきりと見ることができるためであり得る。
表現を再センタリングするためのプロセスが図９に示される。表現の表示された部分がセンタリングされ得る対象となる特徴が識別される（９０１）。対象となる特徴の識別は、本明細書に記載のアプローチのうちの１つまたはそれらの組み合わせを使用して実施され得る。いくつかの実施例では、対象となる特徴は、手動で識別および／またはラベル付けされ得る。いくつかの実施例では、対象となる特徴は、自動的に識別および／またはラベル付けされ得る。自動センタリング信号が生成され得る（９０２）。自動センタリング信号の生成は、例えば、１つ以上の基準が満たされていることに応答して、自動であってもよい。自動センタリング信号の生成は、例えば、コントローラのインプットデバイスとインタラクションするユーザによって、手動であってもよい。したがって、自動センタリング機能の始動は、ユーザからのインプットに応答して、および／あるいは（例えば）手技の所定の部分に到達していること、または何らかの他の基準もしくは基準の組み合わせに応答して実施され得る。基準は、好適には、ユーザの好みおよび／または実施されている手技に依存する。例えば、基準は、ユーザプロファイルに依存し得る。したがって、システムは、外科医が、例えば、切開が実施されるか、またはステッチが挿入される場所などの対象となる特徴のより明確な視界を得ることが望ましい、手技中の規定の点に到達したときに、自動センタリング信号が生成され得るように、構成され得る。
自動センタリング信号に応答して、プロセッサは、表示された表現のズームを変化させるように構成され得る（９０３）。ズームの変化は、識別された特徴に依存し得る。したがって、ズームは、ズームした表現の中で、識別された特徴をセンタリングすることを可能にする方式で変化させることができる。次いで、表現を、再センタリングすることができる（９０４）。好適には、表現は、識別された特徴に依存して再センタリングされる。再センタリングされた表現が表示され得る（９０５）。例えば、プロセッサは、表現を表示させるためのディスプレイ信号をアウトプットするように構成され得る。
また、器具エンドエフェクタ（または複数の器具エンドエフェクタ間の中心点）を再センタリングすることも有用であり得る。１つ以上の器具エンドエフェクタは、表現上の特徴、例えば、タグを取り囲む体積内に移動され得る。次いで、表現は、その特徴を中心として再センタリングされ得る（例えば、表現のズームを調節することによって）。
いくつかの実施例では、表現は、ディスプレイ上で再び向き付けされ得る。これの例示について、図８ｂと図８ｃとを比較することによって見ることができる。図８ｂは、器官８０４および血管８０６を示す。ディスプレイ８０２上に表示される器官８０４の右側のエッジは、ほぼ垂直である。血管８０６は、右へ上方に延在する。図８ｃも器官８０４および血管８０６を示すが、図８ｃでは、血管がほぼ水平に延在するように、表現の向きが変化している。図８ｃに表示される表現は、図８ｂに表示される表現に対して時計回りに回転している。ディスプレイ上の表現の向きのかかる変化は、血管８０６などの所与の特徴の一貫した向き付けを可能にするのに有用であり得る。これにより、いくつかの異なる手技にわたって所与の特徴の一貫した視界を、外科医などのユーザに提供することができ、これは、外科医によって実施される手技の同時再現性および／または精度を強化し得る。例えば、外科医がステッチを追加する場合、外科医は、水平の向きで、ステッチされている特徴を視認することを好む場合がある。
表現を回転させることができる特定の向きは、ユーザインプット、ユーザプロファイル、事前に設定された向きなどに依存して選択され得る。ユーザプロファイルに依存して向きを選択することにより、各外科医は、その外科医に最適な向きで表現を視認することができる。
表現の再向き付けは、撮像デバイスを回転させることによって、および／または例えば、プロセッサで、表現をデジタル方式で回転させることによって実施され得る。プロセッサでの表現の再向き付けは、撮像デバイスを移動させる必要がないという利点を有する。プロセッサでの表現の再向き付けでは、通常、外科医のコントローラの（仮に左方方向の）移動により、対応する外科用器具を正しい方向（外科的部位の表示された表現の再向き付けされた参照枠内で左方方向）に移動させるように、コントローラを外科用器具に再マッピングするのが適切であろう。コントローラの外科用器具への再マッピングは、表示された表現に依存して実施され得る。したがって、表現の再向き付けは、再マッピングにおいて考慮され得る。
健康インジケータ
上記に紹介されるように、患者の内部の外科的部位で内視鏡によってキャプチャされるビデオデータの画素領域に対応するデータなどの画素データは、外科用ロボットシステムのユーザに追加のフィードバック源を提供し得るデータを導出するために分析され得る。内視鏡ビデオの分析は、蠕動運動などの解剖構造の移動、および／または組織灌流を識別または特徴付けるために使用され得る。分析は、好適には、解剖構造および／または組織灌流に関連する１つ以上のパラメータの導出を可能にする。導出されたパラメータは、フィードバックをシステムのユーザに提供し、システムのユーザビリティを強化するために使用され得る。
オイラー映像拡大などの映像拡大技術は、ビデオシーケンスをインプットとみなす。空間的分解が、時間的フィルタ処理に続いて実施され得る。結果として生じる信号は、情報を導出するために増幅され得る。ビデオデータを分析するために使用されるアルゴリズムは、ビデオデータから導出される情報に依存して異なり得る。例えば、色変化の識別および識別された色変化に関連するパラメータの導出は、色変化固有アルゴリズムを使用して実施され得る。一般に、「色変化」は、周波数スペクトルの変化に関連し得、これは、スペクトルの可視部に制限される必要はない。移動の識別および識別された移動に関連するパラメータの導出は、移動固有アルゴリズムを使用して実施され得る。色変化および移動の識別は、一緒にまたは別個に実施され得る。映像拡大技術は、チューニングステージを含み得る。チューニングステージは、焦点を合わせる値の特定の範囲を識別することを含み得る。チューニングステージは、焦点を合わせる特定のエリアを識別することを含み得る。
内視鏡によってキャプチャされたビデオデータは、手技中に外科医または手技室スタッフの他のメンバによって視認するために表示され得る。ビデオデータは、典型的には、外科的部位に提供される外科用器具のエンドエフェクタの画像と共に、患者の解剖学的構造を含む外科的部位を示す。外科用ロボットシステムが、外科的部位の少なくともいくつかの態様をパラメータ化することが望ましい。
外科的部位、例えば、外科的部位における１つ以上の解剖構造のそのようなパラメータ化は、外科医に追加の情報を提供し得る。表示されたビデオデータで視認可能ではない場合がある内視鏡ビデオ内の時空間変化が識別され得、パラメータがそこから導出される。かかるパラメータは、外科医コンソールにおけるディスプレイなどのディスプレイを増強または拡張するために使用され得る。ディスプレイの拡張は、より良好なユーザーエクスペリエンスを可能にし得る情報を外科医に提供し得る。
したがって、本技術は、内視鏡ビデオの小さい時空間差のシステムのユーザによる強化された理解を可能にする。例えば、小さい時空間差は、増幅され得、増幅された差は、視覚化され得る。増幅され得る時空間差の性質は、インプットフィルタの選択に依存して変化し、空間内の解剖構造などの構造の微細な移動、ならびに画素における色振幅および／または色もしくは周波数スペクトルの微妙な変化を含み得る。周波数スペクトルの変化は、可視変化である必要はない。周波数スペクトルの変化は、非可視波長を含み得る。「色」という用語は、可視波長である必要はないが、好適には、波長の範囲が可視波長を含む、光の波長の範囲を包含すると考えられ得る。
時空間変化の分析によって識別され得る外科的部位の特徴の実施例としては、
●患者の解剖学的構造または特定の解剖構造の少なくとも一部分を通る血流およびその灌流、
●血管（動脈、細動脈および静脈など）の存在、
●蠕動運動などの解剖構造の移動が挙げられる。
上記は、解剖構造などの患者の解剖学的構造を識別するために別個にまたは組み合わせて使用され得る。
より詳細には、ビデオデータの分析は、組織灌流（したがって、血流）を検出するために使用され得る。これは、外科的手技中または手技後に行われ得る。分析は、特定の臓器などの、内視鏡の視野内の患者の解剖学的構造もしくは特定の解剖構造の少なくとも一部分、または視野の別の指定された領域に関して実施され得る。分析は、内視鏡の全視野に対して実施されてもよい。概して、分析は、ビデオデータ内の画素領域（他の箇所でより詳細に説明されるように、解剖構造またはその一部分、視野またはその一部分などを表し得る）に関して実施され得る。ビデオデータ内の画素領域のそのような分析は、
●画素領域における画素によって表される解剖学的構造が、例えば、その解剖学的構造を分離して切除する手技中に脈管切除されたか否か、
●画素領域における画素によって表される解剖学的構造が、その解剖学的構造に対する潜在的な損傷、例えば、外科的手技中のその解剖学的構造の誤った取り扱いの評価を可能にするために十分な組織灌流（したがって、血流）を有するか否か、
●ステップもしくは手技の成功もしくは成功の可能性、またはステップもしくは手技後の将来の結果の可能性を判断する目的で、画素領域における画素によって表される解剖学的構造が外科的ステップまたは手技の間およびその後に適切な組織灌流（したがって、血流）を有するか否かを決定するために実施され得る。例えば、腸吻合（またはより一般的には、外科的吻合）、膣カフの閉鎖、再建形成外科手術などの間の別個の腸の端の再結合中およびその後に組織灌流を評価することができることが有用であると期待される。そのような状況における組織灌流の適切性を評価することは、組織の健康をより正確に監視することを可能にし得、したがって、組織死または他の合併症につながる可能性のある状況の検出を可能にし、組織死または他の合併症が発生する前に是正措置が講じられることを可能にする。重篤な合併症の例は、便が腹腔内への漏出につながり得る腸吻合の失敗であり、これは、生命を脅かす敗血症ショックを結果的にもたらし得る。したがって、そのような失敗を検出する能力は、救命にかかる潜在的な特徴である。
ビデオデータの分析は、視野内の動脈、細動脈、および静脈などの血管を検出および識別するために使用され得る。これは、本明細書の他の箇所に説明されるように、外科的部位の表現の拡張が、そのような検出された血管を識別することを可能にし得る。
ビデオデータの分析は、別様には視認可能ではない場合がある解剖構造の蠕動運動を検出するために使用され得る。蠕動運動が検出され得る解剖構造の例としては、
●尿管、またはその一部分、
●腸、またはその一部分が挙げられ得る。
尿管は、腎臓によって生成された尿を膀胱内に排出する小さい後腹膜構造である。健康な尿管は、微妙な蠕動運動を示す。これらの移動は、内視鏡ビデオデータ内の尿管を識別するために使用され得る。移動は、尿管を周囲の組織から区別するために使用され得る。ビデオデータからそのような小さい蠕動運動を検出する（および増幅する）能力は、外科的手技中の尿管の識別を可能にし、したがって、尿管に対する偶発的な損傷を防止することを助け得る。
腸蠕動は、腸の健康の代理マーカとして使用され得る。検出された腸蠕動は、腸の血液供給が適切であること、および、例えば、腸の位置ずれもしくはねじれ、外圧の適用、不十分な血液供給、または外科医による誤った取り扱いによって手術中に腸が損傷していない安心感を提供し得る。腸蠕動運動の検出は、任意選択で移動の増幅によって、移動が可視化され、測定されることを可能にし、腸に関連する１つ以上のパラメータを生成する。腸パラメータは、手技中、手技終了時、および／または手技が完了した後の腸の健康を評価するために使用され得る。腸内に蠕動がないことを検出することは、問題が存在することを示し得る。これが手技中または手技の終了時に検出された場合、潜在的な問題が調査され得、手技を終了する前に是正措置が講じられる。腸蠕動またはそれがないことの尺度は、術後合併症のより高いリスクの予測因子として使用され得る。これは、監視リソースがどこに向けられるべきか（例えば、合併症の可能性がより高いと示されているエリア）を決定する際、および／またはケア経路などの術後措置を決定する際に有用な尺度を提供し得る。
外科用ロボットシステムのためのインジケータシステム１２００を例示する図１２を参照する。インジケータシステムは、患者の解剖構造などの患者の解剖学的構造の少なくとも一部分の状態を示すためのものであり得る。インジケータシステムは、外科的部位における解剖構造などの患者の解剖学的構造の少なくとも一部分のビデオデータ１２１２を内視鏡から受信するように構成された受信機１２１０を備える。インジケータシステムは、受信されたビデオデータの画素領域内の時空間変化を検出するように構成されているプロセッサ１２２０を備える。例示されるプロセッサは、時空間変化を検出するように構成された時空間変化検出器１２２２を含む。時空間変化検出器は、ビデオデータを構成要素部分に分解し、分解されたデータをフィルタ処理するように構成される、分解１２２３およびフィルタ処理１２２４モジュールを含み得る。分解およびフィルタ処理は、好適には、検出される時空間変化、例えば、予想される時空間変化および／または特定の解剖構造の典型的な時空間変化に依存する。プロセッサは、検出された時空間変化に応答して、解剖構造のパラメータを識別するように構成されている。例示されるプロセッサは、パラメータを識別するように構成されたパラメータ識別子１２２４を含む。例示されるプロセッサは、時空間変化検出器のアウトプットを増幅し、増幅されたアウトプットをパラメータ識別子に渡すように構成された増幅器１２２６をさらに含む。増幅器は、すべての実施例で別個のモジュールとして提供される必要はない。プロセッサは、識別されたパラメータを示す、または識別されたパラメータのプロファイルを示す、健康インジケータ１２２８を生成し、生成された健康インジケータをアウトプットするように構成されている。例示されるプロセッサは、健康インジケータを生成するように構成された健康インジケータ生成器１２３０を含む。
このアプローチは、インジケータシステムが、患者の健康を示し得る解剖構造の健康の表示を提供することを可能にする。健康インジケータは、外科医または外科的チームの別のメンバに解剖構造の健康を示すようにアウトプットされ得る。
時空間変化は、解剖特徴の位置および解剖特徴の色の一方または両方の変化に関連し得る。位置変化は、解剖構造の移動または外科的部位に対する内視鏡の移動、またはその両方を表し得る。好適には、移動の性質は、本明細書の他の箇所に説明されるように特徴付けられ得る。移動は、例えば、蠕動に起因する、解剖構造の少なくとも一部分の移動であると決定され得る。プロセッサは、次いで、移動を特徴付けるパラメータを識別し得る。パラメータは、移動の振幅、移動の周波数、移動の持続時間、移動している解剖構造（またはその一部）などのうちの１つ以上に関連し得る。パラメータは、移動の尺度を含み得る。移動の尺度は、移動速度を含み得る。移動の尺度は、移動の振幅および／または向きを含み得る。
色変化は、組織灌流、および血流を表し得る。プロセッサは、色変化を特徴付けるパラメータを識別し得る。パラメータは、色の相対変化、色の変化速度、色の変化の持続時間、色変化を受ける解剖構造（またはその一部分）などのうちの１つ以上に関連し得る。パラメータは、ビデオデータの１つ以上の色チャネルの変化に関連し得る。パラメータは、血流の測定値を含み得る。血流の尺度は、心拍数または脈拍の尺度を含み得る。血流の尺度は、解剖構造などの患者の解剖学的構造の少なくとも一部分を通るかまたは通過する血流の体積測定または推定を含み得る。
健康インジケータは、解剖構造が健全または不健全のいずれかであることを示すなどの、バイナリインジケータであり得る。健康インジケータは、ディスプレイ上に表示するための視覚的信号の形態をとるか、またはそれを含み得る。健康インジケータは、光源をオンまたはオフにするための視覚的信号を含み得る。健康インジケータは、スピーカを駆動するための聴覚的信号の形態をとるか、またはそれを含み得る。聴覚的信号は、スピーカを、解剖構造が健全であるときにオフ（またはオフのまま）にし、解剖構造が不健全であるときにオン（またはオンのまま）にし得る。このようにして、聴覚的信号は、警告信号として作用し得る。健康インジケータは、モータを介した触覚的フィードバックの生成を引き起こすための触覚的信号の形態をとるか、またはそれを含み得る。触覚的信号は、モータを、解剖構造が健全であるときにモータをオフ（またはオフのまま）にし、解剖構造が不健全であるときにオン（またはオンのまま）にし得る。
健康インジケータは、複数値のインジケータを含み得る。健康インジケータは、例えば、パラメータに対応する複数の値のうちの１つをとることによって、解剖構造のパラメータを示し得る。健康インジケータは、色付きインジケータの表示を引き起こし得、その色は、パラメータ値の範囲内のパラメータの値を表す。健康インジケータは、音の放出を引き起こし得、そのトーンおよび／または音量が、パラメータ値の範囲内のパラメータの値を表す。健康インジケータは、聴覚的波形の表現の表示を引き起こし得る。健康インジケータは、血流を表すトーン、例えば、周期的に変化するトーンの聴覚的アウトプットを引き起こし得る。健康インジケータは、触覚的フィードバックの生成を引き起こし得、その振幅および／またはパターンが、パラメータの値を表し得る。
健康インジケータは、数値的な健康インジケータを含み得る。例えば、健康インジケータが視覚的信号を含む場合、視覚的信号は、ディスプレイに、例えば、ビデオデータから導出される患者の心拍数および／または呼吸速度を表す数を表示させ得る。
プロセッサは、好適には、パラメータ値を記憶して、経時的にパラメータ値のプロファイルを生成するように構成される。健康インジケータは、パラメータのプロファイルを示し得る。例えば、パラメータが患者の心拍数の尺度である場合、パラメータのプロファイルは、経時的な心拍数のグラフを含み得る。
プロセッサは、識別されたパラメータを、患者の解剖学的構造または解剖構造の参照パラメータと比較し得る。プロセッサは、比較の結果に依存して健康インジケータを生成し得る。参照パラメータは、好適には、患者の解剖学的構造、解剖構造または患者が健康であるか否かを特徴付けるパラメータの値である。例えば、パラメータが心拍数であり、毎分Ｘ回の拍動を超えるか、または毎分Ｙ回未満の拍動の心拍数が健康不良を示すことが知られている場合、プロセッサは、ビデオデータから識別された心拍数が毎分Ｘ回の拍動とＹ回の拍動との間にあるか否かを決定し得る。この範囲内にある場合、プロセッサは、健康インジケータを生成して、パラメータが健全範囲にあることを示し得る。この範囲外にある場合、プロセッサは、健康インジケータを生成して、パラメータが健全範囲外であることを示し得る。好適には、ＸおよびＹの値は、実施されている手技、手技のステージ、患者の病歴および／または生理学などに依存して選択され得る。ＸおよびＹの値は、好適には、動的に可変である。一般に、識別されたパラメータが比較される参照パラメータは、実施されている手技、手技のステージ、ビデオデータで識別された解剖構造、患者の病歴および／または生理学などのうちの１つ以上に依存して決定され得る。
プロセッサは、好適には、識別されたパラメータが参照パラメータの所定の範囲内にあるか否かを決定するように構成され、健康インジケータは、識別されたパラメータが所定の範囲外にある場合に警告を含み得る。上記の心拍数を例にとると、健康インジケータは、心拍数が毎分Ｙ回の拍動を下回るときに不健全範囲にあることを示し得る。しかしながら、心拍数が所定のさらなる量、すなわち、Ｙよりも毎分１０回低下する場合、インジケータシステムは、警告を含む健康インジケータを生成するように構成され得る。かかる警告は、識別されたパラメータの値が臨界レベルに達する場所を有用に示し得る。これは、適切なタイミングで是正措置を講じることを可能にする。
時空間変化は、好適には、画素領域内の患者の解剖学的構造または解剖構造の少なくとも一部分の位置変化と、画素領域内の患者の解剖学的構造または解剖構造の少なくとも一部分の密度変化と、画素領域内の患者の解剖学的構造または解剖構造の少なくとも一部分の色変化と、のうちの１つ以上を含む。変化は、画素領域の少なくとも１つの画素に関する変化であってもよい。
好適には、プロセッサは、内視鏡と解剖構造の大部分との間、および／または解剖構造の大部分と外科的部位の残りの部分との間の相対移動を識別することと、識別された相対移動に依存して時空間変化を検出することと、を行うように構成されている。このようにして、インジケータシステムは、解剖学的蠕動運動を示さない移動、または検出することが望ましい場合がある他の移動を考慮し得、これらの移動をフィルタ処理して除去し、所望される移動をより正確に検出し得る。所望される移動は、フィルタ処理して除去される移動よりも小さくてもよい。例えば、腸の一部分がビデオデータ内で視認可能であり、内視鏡が外科的部位を通って移動している場合、腸の蠕動運動は、内視鏡の視野内の腸の全体的な移動よりもはるかに小さくなる可能性が高い。
したがって、好適には、プロセッサは、外科的部位と内視鏡との間の相対移動を識別するように構成される。これは、視野内の外科的部位の大部分の移動を検出することによって実施され得る。例えば、少なくとも所定の割合の外科的部位が所与の方向に移動する場合、内視鏡が外科的部位に対して移動していると決定され得る。その全体的な移動は、画素領域内の移動について分析する前に、定量化され、フィルタ処理されて除去され得る。外科的部位と内視鏡との間の相対移動は、ロボットシステムの運動学的データから決定され得る。したがって、プロセッサは、好適には、運動学的データにアクセスすることと、その運動学的データから、外科的部位と内視鏡との間の移動の尺度を決定することと、を行うように構成される。決定された移動の尺度は、画素領域内の移動について分析する前にフィルタ処理されて除外され得る。
同様の様式で、外科的部位の一部分の移動が考慮され得る。例えば、腎臓は、外科的部位において、例えば、外科医によって移動されることによって移動し得る。腎臓全体の移動は、腎臓の一部分、またはそこから延在する構造、例えば、尿管の移動についてビデオデータを分析する前に検出され、フィルタ処理されて除外され得る。
対象となる移動は、周波数フィルタなどのフィルタを使用することによってビデオデータ内で識別され得る。例えば、蠕動運動は、特徴的な周波数で、または特徴的な周波数範囲内の周波数で生じることが予想され得る。解剖構造の大部分の移動は、そのような範囲外の周波数で生じ得る。したがって、ビデオデータは、対象となる周波数範囲内のみの分析を可能にするようにフィルタ処理され得る。
画素領域は、ビデオデータのフレーム間で移動し得る。解剖構造は、内視鏡に対して移動し得る。この移動は、外科的部位に対して移動する内視鏡、および／または外科的部位に対して移動する解剖構造によって引き起こされ得る。好適には、画素領域は、所与の解剖構造またはその一部分に関する。したがって、解剖構造が視野内で移動するにつれて、画素領域は、対応する様式で移動する。すなわち、解剖学的構造の移動が追跡され得、追跡は、画素領域のビデオデータ内の位置を調節するために使用される。したがって、プロセッサは、解剖学的構造の同じ部分に対応するビデオデータのフレーム内の画素に依存して時空間変化を検出するように構成され得る。
プロセッサは、画像安定化技術を使用して、内視鏡によってキャプチャされたビデオデータを安定化するように構成され得る。かかる画像安定化技術の使用は、ビデオデータ内の望ましくない移動をフィルタ処理して除去することを助け得る。これは、パラメータが識別され得る精度を改善し得る。プロセッサは、受信されたビデオデータを安定化するように構成されたイメージスタビライザ１２３２を含み得る。
画素領域は、内視鏡の視野の一部分またはすべてを形成し得る。画素領域は、視野内に対象となる領域を含み得る。対象となる領域は、以下のうちの１つ以上によって画定される：
●ディスプレイ上の境界ボックスであって、ディスプレイの中心であるか、または所望の量だけ所望の方向に中心からオフセットされ得る、境界ボックス。オフセット方向および／または距離は、事前に設定され得る。オフセット方向および／または距離は、ユーザ定義可能であり得る。
●ディスプレイ上の可動および／またはサイズ変更可能な境界ボックス。
●オペレータによって、例えば、インプットデバイスを操作することによって、描画される抽象領域。
●単一の焦点または複数の焦点。
●自動的に決定され得る（例えば、画像マッチング、画像認識などのビデオ処理によって）、解剖構造または他の特徴。解剖構造または他の特徴は、ビデオデータのフレームにわたって追跡され得る。
●１つ以上の器具先端の周囲の固定または可変サイズのゾーン。ゾーンのサイズは、ユーザによって選択可能であり得る。ゾーンのサイズは、行われている手技、手技のステージ、外科医の好みなどに依存して選択され得る。
境界ボックスは、多角形境界ボックスであり得る。
画素領域は、選択可能、例えば、ユーザ選択可能であり得る。画素領域は、ユーザ信号に応答して選択され得る。プロセッサは、好適には、ユーザ信号を受信し、受信されたユーザ信号に応答して画素領域を選択するように構成される。ユーザ信号は、インプットデバイスを有するコントローラによってアウトプットされ得る。コントローラは、好適には、内視鏡によってキャプチャされるビデオデータに関連するユーザインプットに応答して、ユーザ信号をアウトプットするように構成される。
画素領域は、例えば、解剖構造識別信号に依存して、自動的に選択され得る。解剖構造識別信号は、例えば、内視鏡の視野内の解剖構造を識別するために画像認識技術を使用して、ビデオデータの画像分析から生成され得る。解剖構造識別信号は、システムが利用可能な外科的部位に関する情報に依存して生成され得る。例えば、外科的部位のモデルが存在し、例えば、運動学的データから導出され得る内視鏡の位置および向きを示すデータと比較され得る場合、内視鏡の視野内の予想される解剖構造を識別することが可能であり得る。
好適には、プロセッサが、時空間変化を増幅することと、増幅された時空間変化を使用して健康インジケータを生成することと、を行うように構成され得る。時空間変化は、増幅器１２２６によって増幅され得る。時空間変化は、第１の値と第２の値との間の変化を含み得る。プロセッサは、第１の値に第１の増幅率を乗算し、第２の値に第２の増幅率を乗算することによって、時空間変化を増幅し得る。場合によっては、第１の値および第２の値のうちの１つのみが、そのそれぞれの倍率によって乗算される。これは、他の倍率を１に設定することによって達成され得る。
時空間変化は、第１の値と第２の値との間の範囲の中間点を中心として増幅され得る。時空間変化は、第１の値と第２の値との間の範囲の中間点を中心として対称的に増幅され得る。第１の増幅率および第２の増幅率は、そうである必要はないが、同じであってもよい。時空間変化は、第１の値と第２の値との間の選択された値を中心として増幅され得る。選択されたポイントは、第１の値と第２の値との間の中間である必要はない。
第１の増幅率および第２の増幅率の一方または両方は、以下のうちの１つ以上に依存して選択され得る：
●画素領域内の検出された時空間変化の数、
これは、増幅された時空間変化が、別の検出された時空間変化を含む別の変化を不明瞭にする機会を低減し得る。複数の時空間変化が検出される場合、増幅率が適切に選択され得る。これは、より小さい増幅率を選択することを含み得る。これは、増幅された変化を別の検出された時空間変化から逸脱させる増幅率を選択することを含み得る。
●外科医の好み、
●手技であって、外科用ロボットシステムまたは手技のステージを使用して行われている、手技、
●患者の解剖学的構造または解剖構造、
●識別されたパラメータ、
●参照パラメータとの識別されたパラメータの比較。
例えば、解剖構造が健康不良にあることを健康インジケータが示す場合、増幅は、増大され得る。健康インジケータが警告を含む場合、増幅は、増大され得る。好適には、増幅は、健康インジケータが警告を含む場合にさらに増大する。
パラメータの増幅の概略例が図１３に例示される。図１３は、識別されたパラメータ１３０２の時間変動値を示す。例示されるように、識別されたパラメータは、ｓ１の最大振幅を有する値ｓを中心に対称的に変動する。増幅されたパラメータは、ｓを中心に対称的に変動するが、ｓ２のより大きい最大振幅を有する。識別されたパラメータがある位置である場合、増幅された位置は、例えば、視覚的に変化をより容易に理解することができる。
考察されたように、インジケータシステムは、患者の心拍数または呼吸速度などの解剖構造のパラメータを示す健康インジケータを生成し得る。例えば、標準的な手術室設備を使用して、他のやり方で心拍数および呼吸速度を決定することが知られている。好適には、インジケータシステムは、さらなるパラメータへのアクセスを有するように構成される。さらなるパラメータは、そのような標準設備を使用して測定された心拍数および／または呼吸速度を含み得る。さらなるパラメータは、インジケータシステムによって受信され得る。さらなるパラメータは、外科用ロボットシステムによって受信され得る。さらなるパラメータは、外科用ロボットシステムから遠隔にある監視システムから好適に受信される。さらなるパラメータは、識別されたパラメータを較正するために使用され得る。これは、インジケータシステムの精度を向上させ得る。
受信機は、好適には、患者の外側部分のさらなるビデオデータを受信するように構成される。さらなるビデオデータは、患者の露出した外科的部位および／または皮膚のビデオを含み得る。好適には、プロセッサは、受信されたさらなるビデオデータの画素領域内のさらなる時空間変化を検出するように構成される。プロセッサは、検出されたさらなる時空間変化に応答して、さらなるパラメータを識別し得る。
生成された健康インジケータは、視覚的インジケータを含み得る。プロセッサは、ディスプレイ上に表示するための生成された健康インジケータをアウトプットし得る。生成された健康インジケータは、聴覚的インジケータを含み得る。プロセッサは、スピーカを駆動するための生成された健康インジケータをアウトプットし得る。生成された健康インジケータは、外科的部位の表現を表示するためのディスプレイなどの、ディスプレイの少なくとも一部分上にオーバーレイするためにアウトプットされ得る。オーバーレイは、部分的に透明であってもよい。オーバーラップは、オーバーレイされる外科的部位の表現の一部分を置き換え得る。したがって、健康インジケータは、外科的部位の表現上にオーバーレイされ得るビデオの修正された部分を含み得る。
健康インジケータのディスプレイの概略例が図１４に例示される。図１４は、ディスプレイ１４０２を示す。ディスプレイは、２つのエンドエフェクタ１４０４を含む外科的部位の表現を含む。ディスプレイはまた、２つの健康指標を含む。第１の健康インジケータ１４０６は、心拍数などの識別されたパラメータの数値を含む。第２の健康インジケータ１４０８は、識別されたパラメータのプロファイルを含む。第２の健康インジケータは、第１の健康インジケータに示される識別されたパラメータのプロファイルが含み得るが、これは、そうである必要はない。任意の２つ以上の健康インジケータは、ディスプレイ上に表示され得る。表示のための健康インジケータ（複数可）の選択は、実施されている手技、実施されている手技のステージ、外科医の好み、識別されたパラメータの値、または識別されたパラメータの値などのうちの１つ以上に依存して行われ得る。
ここで、患者の解剖構造などの患者の解剖学的構造の少なくとも一部分の状態を示す方法が、図１５を参照して説明される。ビデオデータは、１５０２で受信される。ビデオデータは、患者の体腔の内部の外科的部位の内視鏡から受信される。ビデオデータは、外科的部位にある解剖構造のビデオデータを含む。１５０４では、受信されたビデオデータの画素領域の時空間変化が検出される。検出された時空間変化に応答して、１５０６では、解剖構造のパラメータが識別される。次いで、１５０８では、識別されたパラメータを示すか、または識別されたパラメータのプロファイルを示す、健康インジケータが生成される。１５１０では、生成された健康インジケータがアウトプットされる。
動作モード
時空間変化は、時空間差アルゴリズムを使用することによって、検出され得る。時空間差アルゴリズムは、手技中に複数回有効化および無効化され得る。インジケータシステムは、いくつかの動作モードのうちの１つで動作可能であり得る。好適には、動作モードは、以下を含む：
●灌流モード
灌流モードは、血流に対応するビデオの小さい変化を増幅するために使用され得る。例えば、灌流モードでは、インジケータシステムは、ビデオデータの赤色チャネルの小さい変化を検出し得る。したがって、灌流モードでは、インジケータシステムは、灌流の有無を決定するために好適である。インジケータシステムは、このモードでは、人間の心拍数の範囲の灌流を検出するためにフィルタを用いて較正され得る。したがって、好適には、インジケータシステムは、ビデオデータ、例えば、ビデオデータの赤色チャネルの時間分析を実施して、心拍数を識別するように構成される。インジケータシステムは、灌流モードでは、赤色および／または赤外線スペクトルフィルタを適用して、酸素化および脱酸素化ヘモグロビンの存在を検出し得る。
●蠕動モード
蠕動モードは、ビデオ内の小さい移動を増幅するために使用され得る。インジケータシステムは、蠕動モードでは、結腸蠕動および尿道蠕動運動を含む、対象となる典型的な移動を検出し得る。インジケータシステムは、対象となる移動、例えば、結腸蠕動運動または尿道蠕動運動の特徴である移動の振幅および／または移動の周波数を用いて移動を識別することによって、そのような蠕動運動を検出し得る。
●血管モード
血管モードは、脈動血流に起因する小さい移動を増幅するために使用され得る。インジケータシステムは、血管モードでは、対象となる周波数または対象となる周波数範囲内での移動を検出し得る。これは、インジケータシステムが血管を識別することを可能にし得る。インジケータシステムは、血管モードでは、赤色および／または赤外線スペクトルフィルタを適用して、酸素化および脱酸素化ヘモグロビンの存在を検出し得る。
●混合モード
混合モードは、他のモードのうちのいずれか２つ以上からの分析を含むハイブリッドモードである。
健康インジケータのアウトプット
健康インジケータは、いくつかの異なるやり方のうちの１つのアウトプットである。本明細書の他の箇所で考察されるように、健康インジケータは、視覚的信号および／または聴覚的信号を含み得る。健康インジケータは、異なるやり方で検出された時空間変化を識別するために外科用ロボットシステムのユーザにアウトプットされ得る。
時空間変化は、増幅され得、健康インジケータは、増幅された時空間変化を含み得る。健康インジケータは、ビデオデータに追加された、増幅された時空間変化を含み得る。増幅された時空間変化は、ビデオデータの色および／または移動を増幅し得る。したがって、これらの変化は、システムのユーザにより視覚的に明らかになり得る。
健康インジケータは、ディスプレイの一部分を再着色するための着色された領域を含み得る。例えば、着色された領域は、外科的部位の表現を表示するディスプレイの一部分などの、ディスプレイの一部分上にカラーマップがオーバーレイされることを可能にするために、部分的に透明であり得る。再着色された部分は、外科的部位の表現内の対象となるエリアをハイライトするために使用され得る。再着色された部分は、時空間変化が検出されたエリアをハイライトするために使用され得る。例えば、再着色された部分は、蠕動運動が検出された視野内のエリアを示し得る。
健康インジケータは、時空間変化、または対象となる時空間変化（例えば、所定の基準を満たすもの）の存在またはそれ以外を示す聴覚的信号を含み得る。健康インジケータは、視野内の特定の画素領域、例えば、エンドエフェクタ先端を取り囲む画素領域における対象となる時空間変化の存在またはそれ以外を示し得る。したがって、エンドエフェクタは、内視鏡の視野を通じて移動され得、健康インジケータは、エンドエフェクタが対象となる時空間変化が存在する領域を通過するか否かを示し得る。この配置は、インジケータシステムのユーザが、ビデオデータ内で視認可能な解剖構造にわたってエンドエフェクタを移動させ、各解剖構造に関して時空間変化が存在するか否かを評価することを可能にする。
聴覚的信号は、例えば、周波数を調節することによって、再スケールされ得る。そのような再スケールされた聴覚的信号は、色変化および／または移動を定量化するために使用され得る。定量化された色変化および／または移動は、それぞれ、背景色変化または背景移動に対して定量化され得る。定量化された色変化および／または移動は、それぞれ、所定の色変化または所定の移動に対して定量化され得る。
検出された時空間的変化は、概して、所与のパラメータの定義された値または定義されたベースライン値に対する変化であり得る。ベースラインは、全体としてのビデオデータのフレーム、またはフレームのサブ領域に対して得られ得る。ベースラインは、以前のフレームまたは以前のフレームのサブ領域に対して得られ得る。以前のフレームは、直前のフレーム、または先行するフレームであり得る。以前のフレームは、較正段階中に選択され得る。ベースラインは、関連領域上の平均値などの、関連領域上の平均値であり得る。
本明細書の他の箇所で考察されるように、インジケータシステムは、内視鏡によってキャプチャされたビデオデータから導出される、患者の心拍数および／または呼吸速度の表示をアウトプットし得る。この心拍数／呼吸数は、患者のバイタルサインモニタからのアウトプットと相関され得る。相関の結果は、適切な信号検出の確認を提供するために使用され得る。例えば、相関は、腸吻合における測定された組織灌流が、患者の実際の心拍数を表す真の信号であることを確認し得る。そのような相関は、検出された心拍数または呼吸速度が真の心拍数または呼吸速度ではないときを決定するために使用され得る。これは、より正確なデータがインジケータシステムで決定されることを結果的にもたらし得る。
健康インジケータは、全体的なパラメータ（例えば、内視鏡の視野全体、または体腔内（例えば、ビデオデータの複数のフレームにわたる測定を集約することによって）、または視野もしくは体腔の画定されたゾーン内（例えば、計画段階中にユーザによって、例えば、ソフトウェアで画定されたゾーン）、または特定の解剖構造のパラメータの尺度を含み得る。灌流の尺度は、絶対尺度として、または相対尺度として提供され得る。相対尺度は、別の解剖構造に対して、視野に対して、視野の残りの部分に対して（すなわち、測定される解剖構造を含まない）、指定された時点もしくは指定された時間範囲にわたる画素領域もしくは別の領域に対して、または所定の値に対して、提供され得る。
インジケータシステムは、指定された時点で、または指定された時間範囲にわたって、パラメータを識別するように構成され得る。指定された時間範囲は、例えば、外科的手技の持続時間、または外科的手技のステージの持続時間であり得る。
インジケータシステムは、例えば、脳外科における、亜臨床的または微妙な患者発作活動を検出する際に有用であり得る。インジケータシステムは、麻酔の軽水準または深度に関連し得る、微妙な筋肉運動、例えば、顔面筋肉の検出に有用であり得る。したがって、インジケータシステムは、外科的手技中の患者の麻酔の深さを監視するように構成され得る。麻酔の深度の尺度は、インジケータシステムを通じておよび／またはインジケータシステムから遠隔で監視される他のバイタルサインと相関され得る。相関は、外科医が外科的手技を受ける患者の健康をより効果的に監視することを可能にするように、外科医に追加の情報を提供し得る。
インジケータシステムは、好適には、データシステムとインターフェースするように構成される。インジケータシステムは、データシステムに健康インジケータをアウトプットするように構成され得る。これは、灌流検出または測定された灌流指標の自動報告を可能にし得る。データシステムは、電子患者記録システムを含み得る。インジケータシステムは、好適には、ネットワークを介してデータシステムとインターフェースするように構成される。ネットワークは、有線ネットワークを含み得る。ネットワークは、無線ネットワークを含み得る。好適には、ネットワークは、病院ネットワークなどのプライベートネットワークである。
インジケータシステムは、患者リスクスコアを生成するように構成され得る。健康指標は、患者リスクスコアを含み得る。データシステムは、インジケータシステムからアウトプットされたデータに基づいて患者リスクスコアを生成するように構成され得る。患者リスクスコアは、患者に対するリスクの尺度であり、手技に依存し得る。患者リスクスコアは、識別されたパラメータ値に依存して好適に決定される。例えば、患者リスクスコアは、インジケータシステムによって決定されるように、組織灌流の尺度が与えられる、腸吻合失敗のリスクの尺度を与え得る。患者リスクスコアは、追加の外科的データ、患者データ、および／または外科医データに基づいて決定され得、これらのいずれかまたはすべては、インジケータシステムによって、外科用ロボットシステムによって、または所定のデータから決定され得る。
本明細書に記載の技術は、非外科用ロボットの目的のために使用され得る。例えば、それらは、ロボットシステム、またはより全般的には、ロボット手技などの手技に関連する追加情報を得ることが望ましいシステムで使用され得る。
これにより、本出願人は、本明細書に記載の各個々の特徴および２つ以上のかかる特徴の任意の組み合わせを、かかる特徴または組み合わせが、当業者の共通の一般知識に照らして、全体として本明細書に基づいて行うことができるような程度まで、かかる特徴または特徴の組み合わせが、本明細書に開示される任意の問題を解決するかどうかにかかわらず、かつ特許請求の範囲の範囲を限定することなく、分離して開示する。本出願人は、本発明の態様が、任意のかかる個々の特徴または特徴の組み合わせからなり得ることを示す。上記の説明に鑑みて、様々な修正が本発明の範囲内で行われ得ることが、当業者には明らかであろう。

Claims (47)

  1. 患者の解剖学的構造の少なくとも一部分の状態を示すための外科用ロボットシステムのためのインジケータシステムであって、前記外科用ロボットシステムが、ベースおよび前記ベースから延在するアームを有するロボットを含み、前記アームが、前記ベースから遠位にある前記アームの端に内視鏡を保持し、前記内視鏡が、前記患者の身体の内部の外科的部位を観察するために前記患者の体腔内への挿入のために構成されており、前記インジケータシステムが、
    前記外科的部位における患者の解剖学的構造の少なくとも一部分のビデオデータを前記内視鏡から受信するように構成された受信機と、
    プロセッサであって、
    前記受信されたビデオデータの画素領域内の時空間変化を検出することと、
    前記検出された時空間変化に応答して、前記患者の解剖学的構造のパラメータを識別することと、
    前記識別されたパラメータを示すか、または前記識別されたパラメータのプロファイルを示す、健康インジケータを生成することと、
    前記生成された健康インジケータをアウトプットすることと、を行うように構成された、プロセッサと、を備える、インジケータシステム。
  2. 前記プロセッサが、前記識別されたパラメータを前記患者の解剖学的構造の参照パラメータと比較することと、前記比較の結果に依存して前記健康インジケータを生成することと、を行うように構成されている、請求項１に記載のインジケータシステム。
  3. 前記時空間変化が、
    前記画素領域内の前記患者の解剖学的構造の少なくとも一部分の位置変化と、
    前記画素領域内の前記患者の解剖学的構造の少なくとも一部分の密度変化と、
    前記画素領域内の前記患者の解剖学的構造の少なくとも一部分の周波数スペクトルの変化と、のうちの１つ以上を含む、請求項１または２に記載のインジケータシステム。
  4. 前記プロセッサが、前記内視鏡と前記患者の解剖学的構造の大部分との間、および／または前記患者の解剖学的構造の大部分と前記外科的部位の残りの部分との間の相対移動を識別することと、前記識別された相対移動に依存して前記時空間変化を検出することと、を行うように構成されている、請求項１～３のいずれか一項に記載のインジケータシステム。
  5. 前記プロセッサが、前記時空間変化を増幅することと、前記増幅された時空間変化を使用して前記健康インジケータを生成することと、を行うように構成されている、請求項１～４のいずれか一項に記載のインジケータシステム。
  6. 前記時空間変化が、第１の値と第２の値との間の変化を含む場合、前記プロセッサが、前記第１の値を第１の増幅率と乗算することによって、および前記第２の値を第２の増幅率と乗算することによって、前記時空間変化を増幅するように構成されている、請求項５に記載のインジケータシステム。
  7. 前記第１の増幅率および前記第２の増幅率の一方または両方が、１を超える、請求項６に記載のインジケータシステム。
  8. 前記第１の増幅率および前記第２の増幅率の一方または両方が、
    前記画素領域内の検出された時空間変化の数と、
    外科医の好みと、
    手技であって、前記外科用ロボットシステムまたは前記手技のステージを使用して行われている、手技と、
    前記患者の解剖学的構造と、
    前記識別されたパラメータと、
    前記参照パラメータとの前記識別されたパラメータの比較と、のうちの１つ以上に依存して選択される、請求項５～７のいずれかに記載のインジケータシステム。
  9. 前記画素領域が、前記内視鏡の視野の少なくとも一部分を含む、請求項１～８のいずれか一項に記載のインジケータシステム。
  10. 前記プロセッサが、受信されたユーザ選択信号および解剖構造識別信号のうちの１つ以上に応答して、前記画素領域を選択するように構成されている、請求項１～９のいずれか一項に記載のインジケータシステム。
  11. 前記外科用ロボットシステムが、前記外科用ロボットシステムのアームを制御するためのインプットデバイスを有するコントローラを備え、前記コントローラが、前記外科用部位に関連するユーザインプットに応答して、前記ユーザ選択信号をアウトプットするように構成されている、請求項１０に記載のインジケータシステム。
  12. 前記プロセッサが、前記受信されたビデオデータ内で、１つ以上の解剖構造を識別することと、前記１つ以上の解剖構造を識別することに応答して、前記解剖構造識別信号をアウトプットすることと、を行うように構成されている、請求項１０または１１に記載のインジケータシステム。
  13. 前記画素領域が、解剖構造の少なくとも一部分を含む、請求項１０～１２のいずれかに記載のインジケータシステム。
  14. 前記時空間変化が、解剖構造の少なくとも一部分の蠕動運動を含む、請求項１～１３のいずれか一項に記載のインジケータシステム。
  15. 前記画素領域が、
    尿管の少なくとも一部分の表現であって、前記時空間変化が、前記尿管の蠕動運動を含む、表現と、
    腸の少なくとも一部分の表現であって、前記時空間変化が、前記腸の蠕動運動を含む、表現と、のうちの１つ以上を含む、請求項１～１４のいずれか一項に記載のインジケータシステム。
  16. 前記時空間変化が、組織灌流または血流の尺度を表す、請求項１～１５のいずれか一項に記載のインジケータシステム。
  17. 前記プロセッサが、さらなるパラメータを使用して前記識別されたパラメータを較正するように構成されている、請求項１～１６のいずれか一項に記載のインジケータシステム。
  18. 前記パラメータおよびさらなるパラメータが、患者の心拍数および患者の呼吸速度の一方または両方に関連する、請求項１７に記載のインジケータシステム。
  19. 前記受信機が、前記患者の外側部分のさらなるビデオデータを受信するように構成されており、前記プロセッサが、
    前記受信されたさらなるビデオデータの画素領域内のさらなる時空間変化を検出することと、
    前記検出されたさらなる時空間変化に応答して、前記さらなるパラメータを識別することと、を行うように構成されている、請求項１７または１８に記載のインジケータシステム。
  20. 前記生成された健康インジケータが、
    視覚的インジケータであって、前記プロセッサが、ディスプレイ上に表示するために、前記生成された健康インジケータをアウトプットするように構成されている、視覚的インジケータと、
    聴覚的インジケータであって、前記プロセッサが、スピーカを駆動するために、前記生成された健康インジケータをアウトプットするように構成されている、聴覚的インジケータと、
    触覚的インジケータであって、前記プロセッサが、触覚的フィードバックを提供するためのモータを駆動するために、前記生成された健康インジケータをアウトプットするように構成されている、触覚的インジケータと、のうちの１つ以上を含む、請求項１～１９のいずれか一項に記載のインジケータシステム。
  21. 患者の解剖学的構造の少なくとも一部分の状態を示す方法であって、前記方法が、
    患者の体腔の内部の外科的部位にある内視鏡から、前記外科的部位における患者の解剖学的構造の少なくとも一部分のビデオデータを受信することと、
    前記受信されたビデオデータの画素領域内の時空間変化を検出することと、
    前記検出された時空間変化に応答して、前記患者の解剖学的構造のパラメータを識別することと、
    前記識別されたパラメータを示すか、または前記識別されたパラメータのプロファイルを示す、健康インジケータを生成することと、
    前記生成された健康インジケータをアウトプットすることと、を含む、方法。
  22. 請求項２１に記載の方法を実施するように構成された外科用ロボットシステムのためのインジケータシステム。
  23. コンピュータシステムで実行されると、前記コンピュータシステムに、請求項２１に記載の方法を実施させるコンピュータ可読命令を記憶している非一時的コンピュータ可読記憶媒体。
  24. 外科的手技が行われ得る外科的部位の表現を拡張するための外科用ロボットシステムであって、前記システムが、
    外科的部位の少なくとも一部分の表現の一部または全部を表示するように構成されたディスプレイと、
    インプットデバイスを含むコントローラであって、それによって、前記インプットデバイスが、前記ディスプレイ上のインジケータを制御することができ、前記コントローラが、前記表現に関連するユーザインプットに応答して、拡張信号をアウトプットするように構成されている、コントローラと、
    請求項１～２０または２２のいずれかに記載のインジケータシステムと、を備え、
    前記プロセッサが、前記拡張信号を受信することと、前記受信された拡張信号および前記生成された健康インジケータに応答して、前記外科的部位の前記表現を拡張することと、を行うように構成されている、システム。
  25. 前記外科的部位の前記表現が、前記受信されたビデオデータに依存して得られる、請求項２４に記載のシステム。
  26. 前記外科的部位の前記表現が、３Ｄ表現である、請求項２４または２５に記載のシステム。
  27. エンドエフェクタを有する外科用器具を有するロボットアームを備え、それによって、前記外科的部位の前記表現が、前記エンドエフェクタの表現を含み、前記インジケータが、前記エンドエフェクタの前記表現の一部分を含む、請求項２４～２６のいずれかに記載のシステム。
  28. 前記拡張信号が、前記ディスプレイ上に表示される特徴を示す、請求項２４～２７のいずれかに記載のシステム。
  29. 前記システムが、前記インジケータ位置に依存して前記拡張を前記外科的部位の前記表現と関連付けるように構成されている、請求項２４～２８のいずれかに記載のシステム。
  30. 前記プロセッサが、前記ロボットシステムと関連付けられたジョイントデータに依存して前記外科的部位の前記表現を拡張するように構成されている、請求項２４～２９のいずれかに記載のシステム。
  31. 前記プロセッサが、前記拡張を、前記ジョイントデータに依存して決定された前記外科的部位の前記表現内の場所と関連付けるように構成されている、請求項３０に記載のシステム。
  32. 前記プロセッサが、前記表現の画像処理に依存して前記外科的部位の前記表現を拡張するように構成されている、請求項２４～３１のいずれかに記載のシステム。
  33. 第２のインプットデバイスを備え、前記プロセッサが、前記第２のインプットデバイスにおけるユーザインプットに依存して前記外科的部位の前記表現を拡張するように構成されている、請求項２４～３２のいずれかに記載のシステム。
  34. 前記インプットデバイスおよび前記第２のインプットデバイスのうちの少なくとも１つが、音声コマンド、ジェスチャ、および前記それぞれのインプットデバイスとのタッチインタラクションのうちの１つ以上に応答する、請求項２４～３３のいずれかに記載のシステム。
  35. 前記プロセッサは、拡張基準が満たされていることを決定することと、その決定に依存して前記外科的部位の前記表現を拡張することと、を行うように構成されている、請求項２４～３４のいずれかに記載のシステム。
  36. 前記プロセッサは、前記拡張基準が満たされていることを、
    外科用器具の取り付け、取り外し、操作および／または状態の変化と、
    前記外科的部位の前記表現における画像認識のマッチングを示す画像認識信号と、
    前記外科用ロボットシステムと関連付けられたエラーを示すエラー信号と、
    時間信号と、
    前記外科用ロボットシステムのユーザの変化を示す信号と、
    手技のステージまたは手技計画と、
    手技計画からの逸脱と、のうちの少なくとも１つに依存して決定するように構成されている、請求項３５に記載の外科用ロボットシステム。
  37. 前記プロセッサが、ユーザインプットおよび画像認識信号のうちの少なくとも１つに依存して前記外科的部位の前記表現における前記拡張と関連付けられた特徴を特徴付けるように構成されている、請求項２４～３６のいずれかに記載の外科用ロボットシステム。
  38. 前記プロセッサに結合されたメモリを備え、前記メモリが、前記外科的部位の前記表現および前記拡張のうちの少なくとも１つを記憶するように構成されている、請求項２４～３７のいずれかに記載の外科用ロボットシステム。
  39. 外科的手技が行われ得る外科的部位の表現を拡張するための方法であって、
    患者の体腔の内部の外科的部位にある内視鏡から、前記外科的部位における解剖構造のビデオデータを受信することと、
    前記受信されたビデオデータの画素領域内の時空間変化を検出することと、
    前記検出された時空間変化に応答して、前記解剖構造のパラメータを識別することと、
    前記識別されたパラメータを示すか、または前記識別されたパラメータのプロファイルを示す、健康インジケータを生成することと、
    前記外科的部位の少なくとも一部分の表現の一部または全部を表示することと、
    前記ディスプレイ上のインジケータを制御することと、
    前記表現に関連するユーザインプットを受信し、前記受信されたユーザインプットに応答して、拡張信号をアウトプットすることと、
    前記拡張信号および前記生成された健康インジケータに応答して、前記外科的部位の前記表現を拡張することと、を含む、方法。
  40. 前記外科的部位の記憶された表現に依存して前記外科的部位の前記表現を生成することと、
    前記受信されたビデオデータに依存して前記外科的部位の前記表現を生成することと、のうちの少なくとも１つを含む、請求項３９に記載の方法。
  41. 前記インジケータが、前記外科用ロボットシステムの撮像されたエンドエフェクタの一部分を含み、前記方法が、前記エンドエフェクタを制御することによって、前記ディスプレイ上の前記インジケータを制御することを含む、請求項３９または４０に記載の方法。
  42. ジョイントデータおよび前記表現の画像処理のうちの少なくとも１つに依存して前記外科的部位の前記表現を拡張することを含む、請求項３９～４１のいずれかに記載の方法。
  43. 拡張基準が満たされていることを決定することと、その決定に依存して前記外科的部位の前記表現を拡張することと、を含む、請求項３９～４２のいずれかに記載の方法。
  44. 前記拡張を、少なくとも１つの拡張グループと関連付けることを含む、請求項３９～４３のいずれかに記載の方法。
  45. 前記拡張が属する前記拡張のグループに依存して前記拡張を表示することを含む、請求項４４に記載の方法。
  46. 前記外科的部位の前記表現が、複数の拡張を含む場合、
    拡張の数と、
    前記複数の拡張間の距離と、
    前記複数の拡張によって囲まれた面積と、
    前記複数の拡張によって囲まれた体積と、のうちの少なくとも１つを決定することを含む、請求項３９～４５のいずれかに記載の方法。
  47. 前記ディスプレイおよび補助ディスプレイのうちの少なくとも１つに、
    拡張の数と、
    複数の拡張を接続する線と、
    複数の拡張によって囲まれた面積と、
    複数の拡張によって囲まれた体積と、のうちの１つ以上を表示することを含む、請求項３９～４６のいずれかに記載の方法。
JP2022127239A 2018-10-03 2022-08-09 インジケータシステム Pending JP2022145863A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
GB1816168.7 2018-10-03
GB1816168.7A GB2577718B (en) 2018-10-03 2018-10-03 Feature identification
PCT/GB2019/052795 WO2020070504A1 (en) 2018-10-03 2019-10-03 Indicator system
JP2021518657A JP7308936B2 (ja) 2018-10-03 2019-10-03 インジケータシステム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021518657A Division JP7308936B2 (ja) 2018-10-03 2019-10-03 インジケータシステム

Publications (2)

Publication Number Publication Date
JP2022145863A true JP2022145863A (ja) 2022-10-04
JP2022145863A5 JP2022145863A5 (ja) 2022-10-12

Family

ID=68242727

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021518657A Active JP7308936B2 (ja) 2018-10-03 2019-10-03 インジケータシステム
JP2022127239A Pending JP2022145863A (ja) 2018-10-03 2022-08-09 インジケータシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021518657A Active JP7308936B2 (ja) 2018-10-03 2019-10-03 インジケータシステム

Country Status (8)

Country Link
US (2) US20210315645A1 (ja)
EP (2) EP3860493A1 (ja)
JP (2) JP7308936B2 (ja)
CN (2) CN112839606A (ja)
AU (2) AU2019352792B2 (ja)
BR (2) BR112021006368A2 (ja)
GB (1) GB2577718B (ja)
WO (2) WO2020070502A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537219B2 (en) 2018-08-07 2022-12-27 The Research Foundation For The State University Of New York Feedback input apparatus and method for use thereof
GB2577718B (en) * 2018-10-03 2022-08-24 Cmr Surgical Ltd Feature identification
US11045075B2 (en) * 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
EP4128263A1 (en) * 2020-04-03 2023-02-08 Smith & Nephew, Inc User interface for digital markers in arthroscopy
WO2022208414A1 (en) 2021-03-31 2022-10-06 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery
US11844583B2 (en) 2021-03-31 2023-12-19 Moon Surgical Sas Co-manipulation surgical system having an instrument centering mode for automatic scope movements
US11812938B2 (en) 2021-03-31 2023-11-14 Moon Surgical Sas Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments
US11832909B2 (en) 2021-03-31 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having actuatable setup joints
US11819302B2 (en) 2021-03-31 2023-11-21 Moon Surgical Sas Co-manipulation surgical system having user guided stage control
US20220354585A1 (en) * 2021-04-21 2022-11-10 The Cleveland Clinic Foundation Robotic surgery
CN114299072B (zh) * 2022-03-11 2022-06-07 四川大学华西医院 一种基于人工智能的解剖变异识别提示方法及系统
US20240020092A1 (en) * 2022-07-14 2024-01-18 Edwards Lifesciences Corporation Contactless control of physiological monitors
CN115565652B (zh) * 2022-09-14 2023-10-20 深圳市安保医疗感控科技股份有限公司 一种基于化学指示的复用医疗器械包灭菌管理方法及系统
US11986165B1 (en) 2023-01-09 2024-05-21 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery while estimating hold force
US11832910B1 (en) 2023-01-09 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having adaptive gravity compensation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010005326A (ja) * 2008-06-30 2010-01-14 Toshiba Corp イベント識別システム
JP2014504896A (ja) * 2010-11-16 2014-02-27 セント・ジュード・メディカル・エイトリアル・フィブリレーション・ディヴィジョン・インコーポレーテッド アブレーション治療中の組織内損傷形成を表す情報を提示するためのシステムと方法
JP2017006337A (ja) * 2015-06-19 2017-01-12 ソニー株式会社 医療支援装置および方法、並びに、医療支援システム
WO2017057414A1 (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2017057574A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
US20170161893A1 (en) * 2014-07-25 2017-06-08 Covidien Lp Augmented surgical reality environment
CN108537785A (zh) * 2018-04-04 2018-09-14 北京大学人民医院 一种子宫超声微蠕动视频处理方法
JP7308936B2 (ja) * 2018-10-03 2023-07-14 シーエムアール・サージカル・リミテッド インジケータシステム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340376B2 (en) * 2008-03-12 2012-12-25 Medtronic Navigation, Inc. Diffusion tensor imaging confidence analysis
US8864652B2 (en) * 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US9858475B2 (en) * 2010-05-14 2018-01-02 Intuitive Surgical Operations, Inc. Method and system of hand segmentation and overlay using depth data
JP5675227B2 (ja) * 2010-08-31 2015-02-25 富士フイルム株式会社 内視鏡画像処理装置および作動方法、並びに、プログラム
US9123155B2 (en) * 2011-08-09 2015-09-01 Covidien Lp Apparatus and method for using augmented reality vision system in surgical procedures
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US10251714B2 (en) * 2014-07-25 2019-04-09 Covidien Lp Augmented surgical reality environment for a robotic surgical system
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
US9622831B2 (en) * 2015-05-20 2017-04-18 Siemens Healthcare Gmbh Method and apparatus to provide updated patient images during robotic surgery
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US10058396B1 (en) * 2018-04-24 2018-08-28 Titan Medical Inc. System and apparatus for insertion of an instrument into a body cavity for performing a surgical procedure
CN109035414A (zh) * 2018-06-20 2018-12-18 深圳大学 增强现实手术图像的生成方法、装置、设备及存储介质
GB2577719B (en) * 2018-10-03 2023-04-26 Cmr Surgical Ltd Navigational aid
US10939970B2 (en) * 2019-05-22 2021-03-09 Titan Medical Inc. Robotic surgery system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010005326A (ja) * 2008-06-30 2010-01-14 Toshiba Corp イベント識別システム
JP2014504896A (ja) * 2010-11-16 2014-02-27 セント・ジュード・メディカル・エイトリアル・フィブリレーション・ディヴィジョン・インコーポレーテッド アブレーション治療中の組織内損傷形成を表す情報を提示するためのシステムと方法
US20170161893A1 (en) * 2014-07-25 2017-06-08 Covidien Lp Augmented surgical reality environment
JP2017006337A (ja) * 2015-06-19 2017-01-12 ソニー株式会社 医療支援装置および方法、並びに、医療支援システム
WO2017057414A1 (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2017057574A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
CN108537785A (zh) * 2018-04-04 2018-09-14 北京大学人民医院 一种子宫超声微蠕动视频处理方法
JP7308936B2 (ja) * 2018-10-03 2023-07-14 シーエムアール・サージカル・リミテッド インジケータシステム

Also Published As

Publication number Publication date
CN112804958A (zh) 2021-05-14
US20210345893A1 (en) 2021-11-11
AU2022206752A1 (en) 2022-08-18
AU2019352792A1 (en) 2021-05-27
CN112839606A (zh) 2021-05-25
GB2577718A (en) 2020-04-08
BR112021006368A2 (pt) 2021-07-06
WO2020070504A1 (en) 2020-04-09
WO2020070502A1 (en) 2020-04-09
US20210315645A1 (en) 2021-10-14
GB2577718B (en) 2022-08-24
EP3860493A1 (en) 2021-08-11
JP2022511604A (ja) 2022-02-01
BR112021006363A2 (pt) 2021-07-06
JP7308936B2 (ja) 2023-07-14
EP3860492A1 (en) 2021-08-11
AU2019352792B2 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
JP7308936B2 (ja) インジケータシステム
US20220331052A1 (en) Cooperation among multiple display systems to provide a healthcare user customized information
JP7492506B2 (ja) ナビゲーション支援
CN110461269B (zh) 用于机器人外科系统的多面板图形用户界面
US9687301B2 (en) Surgical robot system and control method thereof
US10977495B2 (en) Automatic endoscope video augmentation
US20230105111A1 (en) System and Method for Teaching Minimally Invasive Interventions
GB2608016A (en) Feature identification
GB2611972A (en) Feature identification
CN117479896A (zh) 包括可在组织穿透外科装置的通道外展开的相机阵列的系统
WO2023183605A1 (en) Systems and methods for controlling and enhancing movement of a surgical robotic unit during surgery
EP4178473A1 (en) System comprising a camera array deployable out of a channel of a tissue penetrating surgical device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221003

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240521