JP2022540169A - 外科用ロボットシステムからのデータの修正 - Google Patents

外科用ロボットシステムからのデータの修正 Download PDF

Info

Publication number
JP2022540169A
JP2022540169A JP2022500997A JP2022500997A JP2022540169A JP 2022540169 A JP2022540169 A JP 2022540169A JP 2022500997 A JP2022500997 A JP 2022500997A JP 2022500997 A JP2022500997 A JP 2022500997A JP 2022540169 A JP2022540169 A JP 2022540169A
Authority
JP
Japan
Prior art keywords
data
data stream
surgical
video
robotic system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022500997A
Other languages
English (en)
Other versions
JP7412528B2 (ja
Inventor
ステーブン、ビショップ
ステーブン、ベル
リカルド、ミカエル、ヘンダーソン、ダ、シルバ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CMR Surgical Ltd
Original Assignee
CMR Surgical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CMR Surgical Ltd filed Critical CMR Surgical Ltd
Publication of JP2022540169A publication Critical patent/JP2022540169A/ja
Application granted granted Critical
Publication of JP7412528B2 publication Critical patent/JP7412528B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/35Surgical robots for telesurgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0407Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the identity of one or more communicating identities is hidden
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0407Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the identity of one or more communicating identities is hidden
    • H04L63/0421Anonymous communication, i.e. the party's identifiers are hidden from the other party or parties, e.g. using an anonymizer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0894Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/42Anonymization, e.g. involving pseudonyms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/88Medical equipments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Computer Security & Cryptography (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Bioethics (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Robotics (AREA)
  • Urology & Nephrology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Endoscopes (AREA)
  • Manipulator (AREA)

Abstract

外科用ロボットシステムにおけるデータストリームのデータ量を低減する方法であって、外科用ロボットシステムが、基部、および基部から器具の取り付け部まで延在するアーム、を有するロボットを備え、アームが、複数のジョイントを備え、それによって、アームの構成を変更することができ、方法が、外科用ロボットシステムによってキャプチャされたデータストリームを受信することであって、データストリームが、外科処置に関するデータを含み、かつ第1のデータ量を有する、受信することと、外科処置におけるイベントを示す受信されたデータストリーム内の特徴を識別することと、識別された特徴に依存して、受信されたデータストリームを修正して、第1のデータ量よりも小さい第2のデータ量を有する、修正されたデータストリームを生成することと、を含む、方法。

Description

本発明は、外科用ロボットシステムにおけるデータストリームのデータ量を低減するために外科用ロボットシステムからのデータを修正することに関する。
手術を補助および実施するためにロボットを使用することが知られている。図1は、基部108およびアーム102からなる、典型的な外科用ロボット100を例示する。器具105は、アームに結合される。基部は、ロボットを支持し、それ自体が、例えば、手術室の床、手術室の天井、またはトロリーに堅固に取り付けられている。アームは、基部と器具との間に延在する。アームは、その長さに沿って、外科用器具を患者に対して所望の場所に位置特定するために使用される複数の可撓性関節103によって関節式に連結されている。外科用器具は、ロボットアームの遠位端104に取り付けられる。外科用器具は、外科手術部位にアクセスするように、ポート107で患者101の身体を貫通する。例示されるように、その遠位端において、器具は、医療的手技で係合するためのエンドエフェクタ106を含む。「器具」という用語は、外科手術部位を撮像するための内視鏡を包含する。
外科用ロボット100は、図2に示されるオペレータコンソール200を介して、オペレータ(例えば、外科医)によって遠隔制御される。オペレータコンソール200は、外科用ロボット100と同じ部屋(例えば、手術室)内、またはそこから遠隔に位置してもよい。オペレータコンソール200は、アーム102および/またはそれに取り付けられた器具105の状態を制御するための入力装置202、204を含む。入力装置202、204は、ハンドグリップ、または平行グラムリンケージに装着されたハンドコントローラであってもよい。制御システムは、ハンドコントローラの動きを制御信号に変換して、外科用ロボットのアーム、関節および/または器具エンドエフェクタを移動させる。オペレータコンソール200はまた、ディスプレイ206を含む。ディスプレイ206は、入力装置202、204を操作するユーザに対して可視的であるように配設される。ディスプレイは、外科手術部位のビデオストリーム(例えば、内視鏡ビデオ)を表示するために使用される。
いくつかの外科処置は、いくつかの外科用ロボットを必要とする場合があり、各々が、外科手術部位で他のものと同時に使用される器具または他の器具を担持する。図3は、患者308上の共通のワークスペースで動作する複数のロボット302、304、306を有する外科用ロボットシステム300を例示している。例えば、外科用ロボットは、内視鏡外科手術(例えば、腹腔鏡手術)でしばしば使用され、これはまた、低侵襲性手術と呼ばれ得る。当業者に既知であるように、外科医は、内視鏡手技中に、口または鼻孔などであるがこれに限定されない、身体の小さな切開または自然な開口部を通して内視鏡を挿入する。内視鏡は、外科医が、同じ切開/開口部を通して、または異なる切開/開口部を通して、自身のツールを誘導するのを助けるために使用される、ビデオモニタ(例えば、ディスプレイ206)にリアルタイム画像を送信する、取り付けられたカメラを有する剛直または可撓性の管である。内視鏡は、外科医が、関連エリアを切開して露出させることを必要とせずに、身体の関連エリアを詳細に視認することを可能にする。この技術は、外科医が、患者の体内を見ること、および従来の切開手術に別途必要とされるよりもはるかに小さい切開部を通して手術することを可能にする。したがって、典型的なロボット内視鏡手術では、1つの外科用ロボットアームに取り付けられた内視鏡、ならびに1つ以上の他の外科用ロボットアームに取り付けられた、一対の把持器および/またはハサミなどの、1つ以上の他の外科用器具が存在する。
図4は、低侵襲性手術で使用するためにロボットアームの端に取り付け可能である例示的な内視鏡400を例示する。内視鏡400は、患者の外科手術部位への挿入のための遠位端402と、近位端404と、を有する。遠位端402は、細長いシャフト406によって近位端404に接続されている。近位端404は、ロボットアームの端部と係合するためのインターフェース408を含む。内視鏡400は、外科手術部位を照射するための電源および光源を有する。内視鏡400はまた、外科手術部位から画像データを抽出するためのデータラインを有する。これらは、すべて、図4に示されるように、ロボットアームから独立して外部に、内視鏡400の近位端404に取り付けられ得る。図4では、ステム412を通じて電力が印加され、ステム412を通じて画像データが抽出され、光源ステム410を通じて光が印加される。代替的な実装形態では、光入力、電力入力、およびデータ出力のうちのいずれか1つ以上を、ロボットアームを通して内視鏡に加えられ得る/抽出され得る。内視鏡400は、ロボットアームの端部に装着される。内視鏡インターフェース408は、ロボットアームの相補的インターフェースと係合する。内視鏡400は、ロボットアームおよび内視鏡インターフェースを介して、ロボットアームに取り付け可能であり、ロボットアームから取り外し可能である。一部の場合に、内視鏡400は、ロボットアームから独立してその取り外された状態で動作可能である。言い換えれば、これらの場合、内視鏡400は、ロボットアームから取り外されたときに、手術室スタッフのメンバーによって手動で操作することができる。
手術中に使用される内視鏡によってキャプチャされる画像(本明細書では、まとめて内視鏡ビデオと称され得る)に加えて、内視鏡によってキャプチャされる画像は、記録され、その後、限定されるものではないが、外科処置の学習および/または教育、ならびに外科医のパフォーマンスの評価および/またはレビュー(第三者または外科医自身による)などの様々な目的のために使用され得る。
内視鏡ビデオに加えて、ロボットシステムからのテレメトリ、ロボットシステムの状態に関するデータ、ならびに手術室および/または制御コンソールに隣接する音声がキャプチャされ得る。さらに、キャプチャされたデータは、患者のバイタルサインおよび/またはヘルスケア(例えば、既往歴)を含み得る。キャプチャされたデータは、オペレータの身元、オペレータが操作した時間、実施された処置などの、オペレータデータを含み得る。キャプチャされたデータは、ロボットシステムおよび/またはロボットシステムに連結された設備を取り囲む環境から、またはそれに関連してキャプチャされたデータを含み得る。そのようなキャプチャされたデータは、学習および/または教育の目的で処置をレビューするのを支援するために、別個にまたは組み合わせて使用され得る。そのようなキャプチャされたデータは、少なくとも一時的にローカルに記憶され、後の分析のために遠隔転送され得る。データストレージおよび/または転送の効率を向上することが有用であろう。
この概要は、以下で詳細な説明でさらに記述される概念の選択を紹介するために提供される。この概要は、特許請求された主題の主要な特徴または必須の特徴を識別することを意図しておらず、特許請求された主題の範囲を制限するために使用することも意図していない。
本発明の別の態様によると、外科用ロボットシステムにおけるデータストリームのデータ量を低減する方法が提供され、外科用ロボットシステムが、基部、および基部から器具の取り付け部まで延在するアーム、を有するロボットを備え、アームが、複数のジョイントを備え、それによって、アームの構成が変更され得、方法は、
外科用ロボットシステムによってキャプチャされたデータストリームを受信することであって、データストリームが、外科処置に関するデータを含み、かつ第1のデータ量を有する、受信することと、
外科処置におけるイベントを示す受信されたデータストリーム内の特徴を識別することと、
識別された特徴に依存して、受信されたデータストリームを修正して、第1のデータ量よりも小さい第2のデータ量を有する、修正されたデータストリームを生成することと、を含む。
方法は、識別された特徴の前の受信されたデータストリームの第1のデータ部分と、識別された特徴の後の受信されたデータストリームの第2のデータ部分と、のうちの1つ以上を修正することによって、修正されたデータストリームを生成することを含み得る。第1のデータ部分および第2のデータ部分のうちの一方または両方が、所定の期間に関連し得る。
方法は、外科処置におけるさらなるイベントを示す受信されたデータストリーム内のさらなる特徴を識別することと、受信されたデータストリームの第3の期間を修正することによって修正されたデータストリームを生成することと、を、識別された特徴と識別されたさらなる特徴との間に、または識別された特徴および識別されたさらなる特徴の第1のものの前、ならびに識別された特徴および識別されたさらなる特徴の第2のものの後に、含み得る。
特徴を識別することは、ルールセットのうちのあるルールが満たされているか否かを判定することと、ルールが満たされる特徴を識別することと、を含み得る。ルールは、外科用ロボットシステムおよび/または外科処置のパラメータグループのうちのあるパラメータが所定の基準に合致する場合に満たされ得る。受信されたデータストリームは、パラメータを含み得る。パラメータは、受信されたデータストリームの分析から判定され得る。方法は、修正されたデータストリームを保存および/または転送することを含み得る。
受信されたデータストリームは、データチャネルグループからの1つ以上のデータチャネルを含み得、データチャネルグループは、外科用ロボットシステムに連結された内視鏡から受信されたビデオデータと、外科処置に関して記録された音声データと、外科用ロボットシステムに対応するテレマティクスデータと、外科用ロボットシステムの少なくとも一部分の状態と、ローカルネットワーク上の追加の装置によって送信されるさらなるデータと、を含み、方法が、データチャネルグループからの1つ以上のデータチャネルに依存して、特徴を識別することを含み得る。方法が、データチャネルグループの第1のデータチャネルに依存して、特徴を識別することを含み、修正されたデータストリームを生成することが、第1のデータチャネルと、データチャネルグループの第2のデータチャネルと、のうちの1つ以上を修正することを含み得る。
識別された特徴が、器具の取り付け状態と、アームに取り付けられた器具の動作状態と、ロボットシステムの動作状態または動作モードと、アームおよび/またはアームに取り付けられた器具の構成と、制御コンソールの制御状態と、のうちの1つ以上の値または変化を示し得る。識別された特徴は、ビデオデータ、センサデータ、および外部に接続されたシステムによって報告されたデータのうちの1つ以上を示し得る。
方法は、ビデオデータの少なくとも一部分のビデオ精細度と、ビデオデータの少なくとも一部分のビデオチャネルの数、ビデオデータの少なくとも一部分のフレームレート、ビデオデータの少なくとも一部分の色域、ロボットシステムの状態の表現、音声データの少なくとも一部分の音声精細度、データチャネルグループ内のデータチャネルの数を修正すること、のうちの1つ以上によって、修正されたデータストリームを生成することを含み得る。方法は、修正されたデータストリームが、第1の解像度を有するビデオデータの一部分、および第2のより低い解像度を有するビデオデータの一部分と、第1のチャネル数を有するビデオデータの一部分、および第2のより少ないチャネル数を有するビデオデータの一部分と、第1のフレームレートを有するビデオデータの一部分、および第2のより低いフレームレートを有するビデオデータの一部分と、第1の色域を有するビデオデータの一部分、および第2のより小さい色域を有するビデオデータの一部分と、状態が変化しない間の複数の時点におけるロボットシステムの状態に関連するデータの代わりに、ロボットシステムの状態の変化に関するデータと、既知の形状に関連する完全なビデオまたはグラフィックレンダリングデータの代わりにビデオデータ内の既知の形状のワイヤフレームモデルと、構造に関連する完全なビデオデータの代わりにビデオデータ内の構造の説明と、完全なビデオデータまたは完全なテレマティクスデータの代わりに、絶対場所および/または相対場所の説明、ならびに速度および/または運動の軌道の説明と、のうちの1つ以上を含むように、受信されたデータストリームを修正することを含み得る。構造の説明が、解剖学的構造、器具、およびエンドエフェクタのうちの1つ以上の説明を含み得る。
方法が、受信されたデータストリームの少なくとも一部分を圧縮することによって、修正されたデータストリームを生成することを含み得る。方法が、データチャネルグループからの1つ以上のデータチャネルの少なくとも一部分を圧縮することによって、修正されたデータストリームを生成することを含み得る。
方法が、受信されたデータストリームの少なくとも一部分をダウンサンプリングすることによって、修正されたデータストリームを生成することを含み得る。方法が、外科処置が実施されている際に、修正されたデータストリームを生成することを含み得る。
方法は、リアルタイムまたは実質的にリアルタイムに、修正されたデータストリームを生成することと、遠隔プロセッサに修正されたデータストリームを送信して、それによって、遠隔プロセッサが、修正されたデータストリームのリアルタイムまたは実質的にリアルタイムの分析を実施することを可能にすることと、遠隔プロセッサから、外科用ロボットシステムのオペレータを支援するための分析の結果をリアルタイムまたは実質的にリアルタイムに受信することと、を含み得る。
本発明の別の態様によると、外科用ロボットシステムにおけるデータストリームのデータ量を低減するための外科用ロボットシステムのためのデータ量修正システムが提供され、外科用ロボットシステムが、基部、および前記基部から器具の取り付け部まで延在するアーム、を有するロボットを備え、アームが、複数のジョイントを備え、それによって、アームの構成が変更され得、システムは、
外科用ロボットシステムによってキャプチャされたデータストリームを受信するように構成された受信器であって、データストリームが、外科処置に関するデータを含み、かつ第1のデータ量を有する、受信器と、
外科処置におけるイベントを示す受信されたデータストリーム内の特徴を識別するように構成された特徴検出器と、
識別された特徴に依存して、受信されたデータストリームを修正して、第1のデータ量よりも小さい第2のデータ量を有する、修正されたデータストリームを生成するように構成されたデータ修正器と、を備える。
本発明の別の態様によると、本明細書に説明される方法を実施するように構成された外科用ロボットシステムのためのデータ量修正システムが提供される。
本発明の別の態様によると、基部、および基部から器具の取り付け部まで延在するアームを有するロボットと、本明細書に説明される方法を実施するように構成されたデータ量修正システムと、を備える、外科用ロボットシステムが提供される。
本発明の別の態様によると、非一時的コンピュータ可読記憶媒体であって、そこに記憶されているコンピュータ可読命令が、コンピュータシステムで実行されると、コンピュータシステムに、本明細書に説明される方法を実施させる、非一時的コンピュータ可読記憶媒体が提供される。
上の任意の態様のいずれかの特徴を、上の任意の態様のいずれか1つ以上の他の特徴と組み合わせることができる。任意の方法の特徴を、装置の特徴として書き変えることができ、逆もまた同様である。
ここで、添付図面を参照して、本発明を例として説明する。
図は、以下のとおりである。
例示的な外科処置を実施する例示的な外科用ロボットを概略的に例示する。 例示的なオペレータコンソールを概略的に例示する。 複数の外科用ロボットを有する例示的な外科用ロボットシステムを概略的に例示する。 外科用ロボットアームに取り付け可能である例示的な内視鏡を概略的に例示する。 例示的なデータ量修正システムのブロック図である。 例示的な外科用ロボットシステムを概略的に例示する。 データストリームを修正する例示的な方法のブロック図である。 例示的なコンピューティングベースの装置のブロック図である。
以下の説明は、当業者が本発明を作製および使用することができるようにするための実施例として提示されている。本発明は、本明細書に記載される実施形態に限定されないが、開示される実施形態に対する様々な修正は、当業者には明らかであろう。実施形態は、例としてのみ記載されている。
データは、外科用ロボットシステムによってキャプチャされ得る。そのようなデータは、セットアップデータ、解体データ、模擬された訓練環境データ、およびロボットアームに連結された器具の数、タイプ、さらには個々の部品番号および使用時間などの、システムの構成に関するデータを含み得る。データはまた、処置が実施される病院の詳細、処置を実施する外科手術チームの詳細、および処置自体の詳細を含み得る。データは、システムが一晩または24時間、週7日間放置されているか否か、システムが保守を受けるか否か、および保守を受けるとき、ならびにその保守の性質を含み得る。外科用ロボットシステムによってキャプチャされたデータは、患者の体腔内の内部外科手術部位などの外科手術部位を視認するために使用される内視鏡によってキャプチャされたビデオデータ、外科用ロボットシステムよってキャプチャされた音声データ、外科用ロボットシステムに関連するテレマティクスデータ、および外科用ロボットシステムの状態に関連する状態データのうちの1つ以上を含む、処置が実施される際の処置に関連するデータを含むことになる。状態データは、ジョイントもしくは複数のジョイント上もしくはその周囲のトルクに関連するデータ、および/またはロボットアームのすべてもしくは一部の動きに関連する加速度計データを含み得る。状態データは、CPU負荷データおよび/またはCPUからのデバッグ出力などの、システムプロセッサに関連するデータを含み得る。
外科用ロボットシステムによってキャプチャされたデータは、外科用ロボットシステムのロボットアームに対するロボット制御を可能にし得る。例えば、内視鏡によってキャプチャされたビデオは、外科医によって視認され得る画面に表示され得、外科医がアームに連結されたか、またはアーム自体の器具の適切な制御を行うことを可能にする。データは、教育および訓練の目的でも使用され得る。データは、例えば、表示のために、外科医のコンソールに転送されたデータと同時に、またはその後で追加のコンソールに渡され得、生徒が、処置、例えば、処置中に外科医によってとられた措置をレビューすることを可能にする。データは、後で転送するためにローカルに保存され得る。データは、病院内でデータサーバに転送され得る。データは、オフサイト、すなわち、病院の内部ネットワーク外に転送され得る。データは、病院内または外部レビュー委員会による外部における処置のレビューを可能にし得る。
外科用ロボットシステムによってキャプチャされたデータ量は、データを転送するためのデータリンクのデータ帯域幅が考慮すべき事柄になるほど十分に大きい場合がある。データストレージサイズもまた、考慮すべき事柄になり得る。データを保存および/または転送する場合、本発明者らは、データの重要な態様の忠実性または品質に影響を与えないやり方で、データのデータ量を低減することが有利であると認識した。例えば、データ量を低減するために、データ全体の品質が単純にダウングレードされることが可能であるが、これは、そのダウングレードされたデータを使用する教育およびレビュープロセスに悪影響を与えることになる。本発明者らは、データを選択的に修正して、より効率的にそのデータを保存および転送することを可能にすることが望ましいことを認識した。そのようにデータを修正することは、データサイズおよび帯域幅の要件を低減し得る。
本明細書では、外科用ロボットシステムにおけるデータストリームのデータ量を低減するための方法および装置が説明される。外科用ロボットシステムによってキャプチャされたデータ、例えば、処置が実施される際にシステムによって生成および/または記録されたデータは、データ量修正システムで受信され得る。データ量修正システムは、好適には、外科用ロボットシステムの一部であるが、別個に提供されてもよい。データ量修正システムの特徴検出器は、例えば、そのようなイベントが発生したこと、およびそのイベントが発生したデータ内の場所またはタイミングを判定するために、外科処置におけるイベントを示す、受信されたデータストリーム内の特徴を識別するために使用される。次いで、データ修正器は、受信されたデータストリームおよび識別された特徴を使用して、修正されたデータストリームを生成するために使用される。修正されたデータストリームは、受信されたデータストリームよりも小さいデータ量を有する。
まず、外科用ロボットシステム502によって実施される外科処置に関連するデータを自動的に修正するための例示的なデータ量修正システム500を例示する、図5を参照する。外科用ロボットシステムは、基部、および基部から器具の取り付け部まで延在するアームを有する、少なくとも1つの外科用ロボットを含む。アームは、複数のジョイントを備え、それによって、アームの構成が変更され得る。例示的な外科用ロボットシステム502は、図6を参照して以下に説明される。
データ量修正システム500は、受信器504、特徴検出器506、およびデータ量修正器508を備える。受信器504、特徴検出器506およびデータ量修正器のうちの1つ以上は、限定されるものではないが、図8を参照して本明細書に説明される例示的なコンピューティングベースの装置などの、1つ以上のコンピューティングベースの装置によって実装され得る。受信器504は、外科処置に関連するデータを含むデータストリームを受信するように構成されている。受信器は、受信されたデータストリームを特徴検出器506に渡し、特徴検出器506は、データストリーム内の特徴を識別するように構成されている。データ量修正器508は、識別された特徴およびデータストリームに依存して、受信されたデータストリームよりも小さいデータ量を有する修正されたデータストリームを生成するように構成されている。修正されたデータストリームの生成は、以下でより詳細に説明されることになる。
受信器によって受信されたデータストリームは、内視鏡ビデオデータ、すなわち、内視鏡510によるビデオまたは画像キャプチャを含み得る。受信器504は、例えば、ローカルネットワーク512を介して、内視鏡からビデオデータを受信するように構成されている。ローカルネットワークは、HDMIインターフェース、SDIインターフェース、および他のビデオインターフェースのうちの1つ以上を含み得る。いくつかの場合、受信器は、HDMIインターフェース、SDIインターフェース、および他のビデオインターフェースのうちの1つ以上を含み得る、直接カップリングを介して、内視鏡からビデオデータを受信するように構成され得る。ローカルネットワーク512は、好適には、病院施設内にある。ローカルネットワークは、大容量データネットワークを含み得る。ローカルネットワークは、例えば、帯域幅の制限に起因して、データスロットリングなしで、外科用ロボットシステムからデータを転送するのに十分な容量を有し得る。ビデオデータは、外科手術部位に向かってポートを通して内視鏡先端が挿入される前に内視鏡によってキャプチャされる、手術室自体のビデオまたは画像を含む可能性が高い。(用語「ポート」は、本明細書の他の箇所に説明されるように、物理ポートおよび/または仮想ポートを含むとみなされ得る。)アームに連結されている間の内視鏡の視野は、機密データをキャプチャすることを回避するために、十分に特徴付けられ、潜在的に制御され得る。一方で、内視鏡は、動作可能である可能性が高く、すなわち、手で保持されるか、またはロボットアームに装着されている間に、ビデオをキャプチャする可能性が高い。手で保持されている間、視野は、処置をレビューするとき、または教育の目的で、典型的には有用ではない画像またはビデオを含む可能性が高い。したがって、そのような画像またはビデオを転送および/または記憶することは、記憶空間および/またはデータ帯域幅を無駄にし得る。
データストリームはまた、外科用ロボットシステム502の一部を任意選択的に形成するマイクロフォン514によってキャプチャされた音声データを含み得る。マイクロフォンは、ロボットアームに、もしくはそれに隣接して、および/または外科用ロボットシステムの制御コンソール516に、もしくはそれに隣接して位置し得る。このようにして、マイクロフォンは、外科処置を支援する手術室スタッフから、および外科医などの制御コンソールのオペレータからを含む、外科処置からの音声をキャプチャし得る。受信器504は、例えば、ローカルネットワーク512を介して、マイクロフォンから音声データを受信するように構成されている。音声データは、外科処置自体に関連がない可能性がある外科手術の前の議論を含み得る。したがって、音声データは、処置をレビューするとき、または教育の目的で有用ではない可能性があるデータを含み得る。そのような音声データを転送および/または記憶することは、記憶空間および/またはデータ帯域幅を無駄にし得る。
データストリームはまた、テレメトリ/テレマティクスデータおよび/または状態データを含み得る。状態データは、外科用ロボットシステムの少なくとも一部分の状態を示し得る。テレマティクスデータおよび/または状態データは、ロボットのアーム518の制御に影響を与えるため、制御コンソール516によって生成され得る。テレマティクスデータおよび/または状態データは、アームジョイントの各々の構成を感知するように構成されているアームのジョイントセンサ520などのアーム自体上のセンサによって生成され得る。追加のデータは、温度センサ、電流センサ(それからバッテリレベルが導出され得る)、および/または加速度計などの、さらなるセンサによってキャプチャされたデータを含み得る。受信器504は、例えば、ローカルネットワーク512を介して、外科用ロボットシステムから(例えば、制御コンソールおよび/またはアームから)、テレマティクスデータおよび/または状態データを受信するように構成されている。テレマティクスデータおよび/または状態データのすべてまたは一部分(例えば、外科用ロボットアーム、それに取り付けられた器具、およびロボットアームの移動を制御する任意のハンドコントローラの位置および/または移動に関連するデータ)は、外科用ロボットシステム502自体によって生成されてもよい。外科処置の開始前に生成される、外科用ロボットシステムからのテレマティクスデータおよび/または状態データは、教育および/または訓練の目的に関連がない場合がある。例えば、セットアップ段階中にデータがキャプチャされ得る。このデータは、処置の内部レビューに関連があり得るが、教育または訓練にはあまり関連がない場合がある。したがって、テレマティクスデータおよび/または状態データのすべてを転送および/または保存することは、記憶空間および/またはデータ帯域幅を無駄にし得る。
受信器504によって受信されたデータは、タブレットコンピュータ、携帯電話、および特殊医療装置などのローカルネットワーク上の追加の装置によって送信されるさらなるデータを含み得る。これらまたは他の装置は、特定のイベントを定義またはマークするようにフラグが設定され得るデータパケットを送信するように構成され得る。例えば、外科医が携帯電話を使用して制御コンソールにログオンする場合、その携帯電話は、ログオンイベントを示すデータパケットをシステムに送信し得る。さらなるデータは、患者のバイタルサインデータ(例えば、心拍数、呼吸数)、ヘルスケアデータ(例えば、既往歴)、オペレータの身元、オペレータがそのセッションで操作した時間、実施された処置、ロボットシステムおよびロボットシステムに連結された設備を取り囲む環境から、またはそれらに関連してキャプチャされたデータなどのオペレータデータを含み得る。
ビデオデータ、音声データ、テレマティクスデータ、状態データ、およびさらなるデータの各々は、システムによってキャプチャされた処置に関連するデータの別個のデータチャネルであるとみなされ得る。データチャネルは、好適に互いに時間同期される。データチャネルは、1つのデータチャネルの特徴またはイベントが、特定の時間もしくは期間、および/または別のデータチャネル内の特定の特徴もしくはイベントに相関されることを可能にする、任意の好適な様式で時間同期され得る。例えば、複数のデータチャネルは、共通のタイムスタンプまたは共通のタイムラインを含み得るか、またはそれらにリンクされ得る。
ビデオデータおよび/または音声データは、複数のチャネルデータを含み得る。例えば、ビデオデータは、3D画像を表すのに好適な、「右」チャネルおよび「左」チャネルを含み得る。音声データは、ステレオ音声を表すのに好適な、「右」チャネルおよび「左」チャネルを含み得る。いくつかの場合、2つよりも多いビデオおよび/または音声チャネルが存在し得る。
ビデオデータ、オーディオデータ、テレマティクスデータ、状態データ、およびさらなるデータのうちの1つ以上のデータ量を低減することによって、修正されたデータストリームを生成することが望ましい場合がある。
特定のチャネルのデータ量が増加するが、全体的なデータ量を依然として低減することができる。これは、他の箇所でより詳細に説明されている。
好適には、修正されたデータストリームを生成することは、次のうちの1つ以上を修正することを含む。
・音声データの少なくとも一部分の音声精細度。例えば、ビデオデータの比較的高い精細度(例えば、超高精細度)部分は、精細度を比較的低い精細度(例えば、高精細度または標準精細度)に低減するように修正され得る。
・ビデオデータの少なくとも一部分のビデオチャネルの数。例えば、3Dデータは、2つのビデオチャネルのうちの1つを省略することによって、2Dデータに修正され得る。
・ビデオデータの少なくとも一部分の撮像モダリティの数。例えば、ハイパースペクトル撮像では、画像データセットは、複数の波長範囲でキャプチャされ得る。そのような画像データセットのうちの1つ以上が省略され得る。
・ビデオデータの少なくとも一部分のフレームレート。受信されたデータストリームは、60Hzなどの比較的高いフレームレートのデータを含み得る。修正されたデータストリームは、30Hzなどの比較的低いフレームレートでデータの一部分を含むように修正されてもよい。
・画像フレームのシーケンス内のフレームの数。画像またはフレームのサブセットは、ビデオストリームからキャプチャされ得、その画像またはフレームのサブセットが、ビデオストリームの代わりに転送される。例えば、静止画像がビデオストリームからキャプチャされ得、その静止画像がビデオストリームの代わりに転送され得る。これは、経時的なビデオストリーム内の画像データの変動がないか、またはほとんどない場合に有用であり得る。サブセットは、ビデオストリームから周期的にキャプチャされ得る、2~9フレーム、好ましくは、2または3フレームの程度の、少数のフレームを含み得る。フレームは、連続的、または非連続的、例えば、シーケンス内のフレーム1、2、3、またはシーケンス内のフレーム1、3、5とすることができる(他の非連続フレームグループが可能である)。サブセットは、所与の期間に1回キャプチャされ得る。期間は、1秒、5秒、10秒、15秒、20秒などとすることができる。ビデオストリーム内の残りのフレームは、破棄され得る。(フレームレートが60Hzである場合、1秒毎に3フレームをキャプチャすると、結果的に残りの57フレームが破棄されることになる。)キャプチャされたフレームのサブセットは、変化率情報および位置情報を取得するのに十分である。非連続フレームをキャプチャすることは、フレーム間の変化をより明白にすることを助け得る。キャプチャされるフレームの数は、特徴またはイベントに依存し得る。これらの例は、フレームレートの代替的な修正として考慮され得る。
・ビデオデータの少なくとも一部分の色域。修正されたデータは、データストリームの一部分の色調または色域を低減するように修正され得る。例えば、カラービデオは、モノクロビデオとなるように修正され得る。
・ロボットシステムの状態の表現。ロボットシステムの状態の変化に関するデータが、状態が変化しない間の複数の時点におけるロボットシステムの状態に関連するデータの代わりに保持され得る。
・例えば、音声データの周波数範囲を低減することによる、音声データの少なくとも一部分の音声精細度、
・例えば、修正されたデータ内のデータチャネルのうちの1つ以上を省略することによる、データチャネルグループ内のデータチャネルの数。
方法は、修正されたデータストリームが、次のうちの1つ以上を含むように、受信されたデータストリームを修正することを含み得る。
・既知の形状に関連する完全なビデオまたはグラフィックレンダリングデータの代わりのビデオデータ内の既知の形状のワイヤフレームモデル。
・構造に関連する完全なビデオデータの代わりのビデオデータ内の構造の説明。構造の説明は、解剖学的構造、器具、およびエンドエフェクタのうちの1つ以上の説明を含み得る。
・完全なビデオデータまたは完全なテレマティクスデータの代わりの、絶対場所および/または相対場所の説明、ならびに速度および/または運動の軌道の説明。
・ダウンサンプリングされた音声/ビデオなどの、受信されたデータストリームのダウンサンプリングされた部分。
・受信されたデータストリームのバンドパスフィルタ処理された部分。
・受信されたデータストリームの間引きされた部分。例えば、一連のデータ点内の10番目のデータ点毎に破棄され得る。より小さい割合のデータ点が保持され得る。別の例では、10個のデータ点のうち1個が保持され得、残りの9個が破棄され得る。
・受信されたデータストリームの間引きされた部分。そのようなアプローチは、離散的コサイン変換およびウェーブレット変換を使用することを含み得る。
・第1のコーディング方式を使用してエンコードされたデータの代わりの第2のコーディング方式を使用してエンコードされたデータ。第1のコーディング方式は、ビデオストリームであってもよく、第2のコーディング方式は、標準的な外科手術オントロジーに基づき得る、座標系の並進および/または外科手術イベントの説明(例えば、英語)であってもよい。
データストリームは、外科用ロボットシステムを通して、またはそれによって、例えば、外科用ロボットシステムのロボットアームを通して、またはそれによって送信され得る。したがって、データストリームは、ロボットシステムのアームからデータ量修正システムで受信され得る。好適には、データストリームは、ロボットシステムのアームからのデータフィードなどの、外科用ロボットシステムからのデータフィードを含む。
受信器504は、任意の好適な手段を介して外科処置に関連するデータストリームを受信し得る。例えば、いくつかの場合、外科用ロボットシステム502は、限定されるものではないが、イーサネット接続、Wi-Fi(登録商標)接続、Bluetooth(登録商標)接続、近距離通信(NFC)接続、HDMI接続、SDI接続、他のビデオインターフェース接続などの、無線または有線通信接続512を介して、データを受信器504に提供し得る。これらの例では、状態データのすべてまたは一部分は、外科処置が実施されている間に、リアルタイム(または実質的にリアルタイム)に受信器504に提供され得る。
他の場合、処置に関するデータは、処置中に別の装置(例えば、コンピューティングベースの装置)によってキャプチャされ、記憶装置524(例えば、メモリ)に記憶され、その後、通信接続512を介して、または任意の他の好適な手段を介して、受信器504に提供され得る。いくつかの場合、データのすべてまたは一部分は、処置が実施される場所で、限定されるものではないが、USB(ユニバーサルシリアルバス)メモリスティックまたはSDカードなどのポータブル記憶媒体上に記憶され得、受信器504がポータブル記憶媒体からデータを読み出し得るように受信器504に連結されている受信器504の場所に物理的に移送され得る。
特徴検出器506は、外科処置におけるイベントを示す特徴を、受信されたデータストリーム内で識別するように構成されている。イベントは、処置の段階または外科医もしくは手術室スタッフの別のメンバーによって講じられる措置などの処置の任意の所望の態様を含み得る。イベントは、システムが一晩または24時間、週7日間放置されているか否かを特徴付け得る。イベントは、システムが保守を受けるか否か、およびそれがいつか、ならびにその保守の性質を特徴付け得る。
例えば、イベントは、縫合処置、焼灼処置、把持処置、切断処置、1つ以上の器具のエンドエフェクタを外科手術部位の所望の場所に移動させる処置、吹送処置などの開始および/または終了を識別することを含み得る。
イベントは、システムに連結された器具の動作状態、および/またはシステムの動作状態を識別することを含み得る。例えば、システムは、モードグループのうちのあるモードであり得る。モードグループは、器具がシステムに取り付けられ得るセットアップモードを含み得るが、外科医による器具の動作制御は、そのモードで有効化されない場合がある。モードグループは、システムに取り付けられた器具が外科医の制御コンソールに動作可能に連けるされ、器具の制御が外科医によって行われることを可能にする、外科手術モードを含み得る。したがって、イベントは、システムがいつ外科手術モードなどの特定のモードに入るかおよび/またはそれを出るかを識別することを含み得る。器具が動作状態ではない、例えば、器具が外科医によって能動的に制御されていない、および/または器具が制御コンソールに動作可能に接続されていないと判定される場合、対応するデータ部分は、処置に関連がないと示され、完全に保持される必要はない可能性がある。そのような判定は、テレメトリデータを使用して、またはビデオ画像分析から行われ得る。
イベントは、データストリームの任意の他の所望の態様または特徴を識別することを含み得る。例えば、本明細書の別の箇所でより詳細に論じられるように、システムは、その器具のエンドエフェクタなどの器具の一部分が、外科手術部位に向かって、または外科手術部位から離れてポートを通過するときを検出するように構成され得る。システムは、内視鏡が外科手術部位に向かってポートを通して挿入されるとき、または外科手術部位から離れてポートから引き抜かれるときを検出するように構成され得る。そのような検出は、ビデオデータなどのデータストリームの態様に基づき得る(例えば、ビデオデータの色または色の変化、ビデオデータの強度/輝度または強度/輝度の変化、ビデオデータ内の物体の追跡、ビデオデータの識別された部分の変化の追跡などの、ビデオデータの分析からであり、追加の詳細については、本明細書の他の箇所を参照されたい)。
識別された特徴は、アームおよび/またはアームに取り付けられた器具の構成のうちの1つ以上の値、またはその変化、ならびに制御コンソールの制御状態を示し得る。識別された特徴は、ビデオデータ、センサデータ(トルクデータ、加速度計データ、温度データ、バッテリ電圧データなどを含む)、および外部に接続されたシステムによって報告されるデータ内で検出される特徴のうちの1つ以上を示し得る。
特徴は、本明細書に説明されるイベントの任意の1つまたは任意の組み合わせの検出に依存して識別され得る。
識別された特徴は、外科処置、または外科処置の特定の態様もしくは段階の開始および/または終了を示し得る。処置開始前または処置終了後に、すべてのデータを完全正確に保存するか、または転送することは、すべての状況において必要ではない。したがって、処置が実施されるとき以外のデータストリームの一部は、データストリームのデータ量を低減するために修正され得る。そのような修正は、処置自体に関するデータを失うことなく実施され得る。イベントは、外科処置の開始を示し得る。例えば、イベントは、内視鏡が内部外科手術部位に向かってポートを通して挿入されたことを検出することを含み得る。別のイベントは、外科手術処置の終了を示し得、例えば、イベントは、内視鏡がポートから除去されたことを検出することを含み得る。処置、例えば、2つのイベントの間の期間に関する完全なデータを保持し、この期間外のデータストリームのデータ量を低減することが望ましい場合がある。
いくつかの場合、処置の一部のみが関連し得る。例えば、処置が電気焼灼ステップを含み、データストリームが電気焼灼教材の一部として保存されている場合、電気焼灼ステップに関連しない処置の他の態様の完全な詳細を保存または転送する必要はない。したがって、電気焼灼ステップに関連しないデータストリームの部分は、それらの部分の関連付けられたデータ量を低減するために修正され得る。
データストリームのデータ量を低減するための1つのアプローチは、完全なデータ品質を保持することが望ましいデータストリームの一部分(複数可)を識別し、データストリームの他の部分を修正して、それらの他の部分のデータ量を低減することである。別のアプローチは、完全なデータ品質を保持する必要がないデータストリームの一部分(複数可)を識別し、それらの識別された部分を修正して、それらの部分のデータ量を低減することである。
例として、内視鏡ビデオを考慮する。内視鏡がロボットアームに取り付けられると、それがポートを通して挿入される前に、それは、手術室のビデオ(すなわち、手術野外からのビデオ)をキャプチャすることになる。このビデオは、レビューまたは訓練にとって関連性の低いデータを含み得る。内視鏡がポートを通して挿入されると、それは、内部外科手術部位のビデオ(すなわち、手術野内からのビデオ)をキャプチャすることになり、これは、レビューまたは訓練のために保持することが望ましいデータに関連する可能性が高い、すなわち、そのようなデータは、より関連性が高い可能性が高い。これは、次いで、再び関連性がより低いデータを伴う、手術室のビデオを再びキャプチャし始めることになるときに、内視鏡がポートから退避されるまで(ビデオが手術野の内側にある状態から手術野の外側にある状態に遷移することになるとき)、そのケースのままになる。それゆえに、「関連」データは、ポートを通した内視鏡の挿入と、ポートからの内視鏡の退避との間でキャプチャされたビデオ、すなわち、標的手術野のビデオを含み得、好適には他には何も含まない。したがって、このアプローチは、いつ内視鏡がポートを通して挿入されるか、およびいつそれがポートから退避されるかを判定することと、これらの識別された時間の間、すなわち、内視鏡がポートを通して挿入されるときにキャプチャされたビデオデータの任意の部分のデータストリームを完全に保持することと、を伴い得る。他の時間(すなわち、内視鏡がポートを通って挿入されないとき)のデータストリーム内のデータは、データストリームのデータ量を低減するために、除去または別様に修正され得る。
第1および第2のアプローチの組み合わせが使用されてもよい。
データストリーム内の特徴を識別することに応答して、特徴検出器506は、出力を生成するように構成され得、出力は、
・特徴が検出されたことと、
・検出された特徴のタイプと、
・特徴の時点(すなわち、特徴が発生した時点)と、
・特徴が関連するデータストリームの一部分(例えば、静止画像もしくはビデオ画像の一部、または一連の画像の連続部、またはより一般的には、データチャネルのうち、特徴を含むものなど)と、
・特徴の持続時間と、のうちの1つ以上を示す。
出力は、データ修正器508に提供される。
データ修正器は、特徴検出器から出力を受信し、かつ、例えば、受信器から、任意の好適な手段を介してデータストリームを受信するように構成されている。データ修正器はまた、ローカルネットワーク512を介してデータストリームを受信するように構成され得る。データ修正器は、受信されたデータストリームおよび識別された特徴に基づいて、修正されたデータストリームを生成するように構成されている。修正されたデータは、ローカルまたは遠隔ストレージ、例えば、記憶装置524に保存され得る。修正されたデータは、インターネットなどの遠隔ネットワーク526を介して送信され得る。修正されたデータは、有線リンクを介して、または無線接続を介して、遠隔ネットワークに接続するローカルアクセスポイントへなどの、任意の好適な方法によって送信され得る。
データ量修正システム500は、外科用ロボットシステム502から遠隔であってもよい。例えば、外科用ロボットシステム502は、手術室内に位置し得、データ量修正システム500は、病院または治療センター内の別の部屋にあり得る。他の場合、データ量修正システムは、例えば、制御コンソールにおいて、外科用ロボットシステムと統合され得る。
好適には、データ量修正システム500は、データストリームをリアルタイム(または実質的にリアルタイム)に処理するように構成されている。データ量修正システムは、メモリ528、例えば、受信されたデータストリームを一時的に記憶するためのバッファメモリを含み得る。データ修正器508は、保存されたデータストリームをメモリ528から読み出し得る。データストリームを(実質的に)リアルタイムに処理することは、修正されたデータが遠隔ネットワークを介して、同様にリアルタイム(または実質的にリアルタイム)に送信されることを可能にする。修正されたデータは、クラウドに位置するサーバに、例えば、サーバにおける支援モジュールに、送信され得る。支援モジュールは、修正されたデータを分析して、パフォーマンスまたは他の測定基準を抽出し得る、および/または分析に応答して助言または提案を生成し得る。助言は、特定の処置における次のステップに関する助言、所与のステップを最も効果的に実施する仕方、実施されている処置または実施されている処置におけるステップに関する提案などを含み得る。この助言は、遠隔サーバによって、遠隔ネットワーク526を介して、外科用ロボットシステム502に、例えば、ディスプレイ530に提供され得る。このようにして、外科用ロボットシステムを動作させる外科医は、患者に処置を実施する際に、(実質的に)リアルタイムに助言/提案を受信し得る。
このようにして、データ量修正システムは、外科医によって実施されている処置を強化するために、遠隔ベースの支援モジュールの使用を可能にする。いくつかの場合、修正されたデータは、別の外科医などの遠隔に位置する人物に送信され得る。このようにして、より経験の多い外科医は、同じ場所にいることを必要とせずに、より経験の少ない同僚に適時に助言を提案し得る。
いくつかの場合、受信器によって受信されるデータストリームは、修正されたデータストリームの生成と同時に、リアルタイムに外科用ロボットシステムのオペレータ(例えば、外科医)に提示される。これは、修正されたデータの生成における遅延の問題が、手術の性能に影響を与えることを回避するのを助け得る。
好適には、受信されたデータストリームは、それが、保存されるか、または遠隔場所、例えば、処置が実施される手術室(または病院)から遠隔の場所に転送される前に修正される。データストリームは、それが、記憶装置524などのローカルストレージに保存される前に修正され得る。記憶装置は、修正されていないデータストリーム、および修正されたデータストリームの両方を記憶し得る。
好適には、外科医などの外科用ロボットシステムのオペレータ、または病院の別のスタッフのメンバーは、データまたは修正されたデータが保存および/または転送されるか否かを制御することができる。したがって、データ量修正システムは、データストリームをローカルに保存する選択肢をユーザに提示し得る。データ量修正システムは、ローカルまたは遠隔場所のいずれかに、修正されたデータストリームを保存および/または転送する選択肢をユーザに提示し得る。このようにして、外科医または病院スタッフの別のメンバーなどのユーザは、データまたは修正されたデータがどのように使用されるかを監視する。
データ量修正システムは、修正されたデータストリームを生成する際に、データストリームの少なくとも一部分を圧縮するように構成された圧縮モジュール532を備え得る。圧縮モジュールは、データ修正器508において、またはその一部として提供され得る。圧縮モジュールは、内視鏡がポートを通して挿入されていないときに、受信されたデータを圧縮するように構成され得る(例えば、受信されたデータのビデオチャネルを、任意選択的に、受信されたデータの追加データと一緒に圧縮することによってなど)。圧縮モジュールは、例えば、損失圧縮アルゴリズムなどの従来の圧縮アルゴリズムを使用することによって、任意の好適な様式でデータを圧縮し得る。それゆえに、圧縮されたデータは、非圧縮データよりも小さいデータ量を有し得る。
いくつかの場合、受信されたデータの異なるセグメントまたはチャプタが、異なるレベルの圧縮によって圧縮され得る。例えば、データストリームは、データストリームの1つ以上の特徴(またはより広くは、外科処置に関連する情報)に基づいてセグメント化され得る。このように、データストリームは、アームの構成、取り付けられた器具のタイプおよび/またはその動作状態、ロボットシステムの動作状態、処置の段階、ロボットを制御する外科医などのうちの1つ以上に従ってセグメント化され得る。処置の各段階、または段階群は、異なる圧縮レベルと関連付けられ得る。これは、段階間で異なるようにデータ量の低減を可能にし得る。
データ量修正システムは、受信されたデータストリームおよび修正されたデータストリームの一方または両方に「透かし」を追加するように構成された、透かしモジュール534を含み得る。透かしモジュールは、データ修正器508において、またはその一部として提供され得る。透かしは、デジタル署名および/または指紋を含み得る。透かしは、透かしの少なくとも一部が「隠された」とみなされ得るように、データに追加され得、すなわち、透かし(または透かしの隠された部分)が追加されたことは必ずしも明白ではない。これは、透かし(または透かしの隠された部分)が第三者によって意図的に除去されるリスクを低減し得る。例えば、透かしモジュールは、データの最下位ビットにおける透かしをエンコードすること、データに関して離散的コサイン変換を行うことの一部として透かしをエンコードすること(例えば、データを圧縮するとき)、ウェーブレット変換を使用して透かしをエンコードすること、スペクトル拡散技術を使用して透かしをエンコードすること、周波数および/または時間マスキングを使用して透かしをエンコードすることなどのうちの1つ以上によって透かしを適用するように構成され得る。
透かしモジュールは、データが修正されたときに透かしを追加するように構成され得る。他の実施態様では、透かしモジュールは、例えば、さらなる修正プロセスにおいて、修正されたデータが遠隔で転送されるときに、修正されたデータに透かしを追加するように構成され得る。したがって、透かしモジュールは、データ量修正システムの一部として提供する必要はないが、別個に提供されてもよい。例えば、透かしモジュールは、修正されたデータが記憶されるデータストア524に連結されることなどによって、修正されたデータへのアクセスを有し得る。修正されたデータが遠隔で送信されるとき、透かしモジュールは、転送前に、その段階で透かしを追加するように構成され得る。意図される受信者および/または修正されたデータの意図される使用に関する詳細は、透かしに含められ得る。
透かしモジュールの提供は、データ(例えば、遠隔サーバに転送される修正されたデータ)が追跡および/または識別されることを可能にする。例えば、透かしは、処置が実施された病院、処置を実施した外科医/手術チーム、処置を実施するために使用されたロボットシステム(制御コンソール、ロボットアーム、および器具のうちの1つ以上の固有のシリアル番号によって識別され得る)、処置のタイプ、処置が実施された日時、データの公開を許可する責任者、公開されたデータの有効期限などのうちの1つ以上の識別を含み得る。任意の望ましいメタデータが透かしに含められ得る。透かし入りの修正されたデータは、それによって、処置が実施された病院に遡ることができる。したがって、修正されたデータのレビューにおいて、レビューの任意の結論または結果(透かしに含まれる詳細を知らなくても行われ得る)は、関連する病院/手術チームにフィードバックされ得る。
透かしは、修正されたデータが公開された使用の表示を含み得る。例えば、特定の処置についての修正されたデータは、その処置のレビューのために公開され得るが、教育のためには承認されず、これは、例えば、その処置がまだ実験的であるためである。透かしモジュールは、データがレビューのために(おそらくは、個人または病院であり得る、選択された受信者によるレビューのために)使用され得ることを示す透かし、およびデータが公開された人物/組織の詳細を追加するよう構成され得る。そのデータが後で別の個人によって使用されること、または別の使用が見出された場合、公開チャネルおよびオリジナルの承認された使用は、透かしから判定され得る。これらの目的のために、そのような情報が透かしの隠された部分に含まれており、そのため、意図的に除去されない(または除去することができない)場合、有用であり得る。
いくつかの場合、データストリームがセグメント化されている場合、異なる透かしが、異なるセグメントまたはセグメントグループに適用され得る。これは、異なる器具が使用されたため(そのため、透かしの器具IDが異なり得る)、異なる外科医が処置の一部を実施したため(そのため、透かしの外科医IDが異なり得る)、セグメントが別のセグメントとは異なる目的のために公開されたため(そのため、透かしの受信者/使用目的などに関する詳細が異なり得る)であることを含む、いくつかの理由から行われ得る。
データがローカルデータストア524および/または遠隔データストアに記憶される場合、そのようなデータは、所与の時間の間、保持され得る。法律上または規制上の要件を満たすために、最低限の時間のデータの保持が必要とされ得る。好適には、データは、データが保持されることになる時間の長さを示す寿命値、および/またはデータが削除され得る日付を示す有効期限と関連付けられる。システムは、寿命値または有効期限に達すると、データを自動的に削除するように構成されてもよい。例えば、病院は、例えば、7日間など、一定の日数の間、外科用ロボット処置からのデータを保持する方針を有し得る。それゆえに、寿命値は、7日に設定され得る。処置の完了から7日が経過すると、その処置に関連するデータは、ローカルおよび/または遠隔ストレージから自動的に削除され得る。データを自動的に削除する代わりに、ユーザは、データの削除を確認するプロンプトを受信し得る。
いくつかの場合、データ量修正システムは、寿命値または有効期限に達すると、データを自動的に修正するように構成されてもよい。このように、データストリームが修正されることなく保持される場合、寿命値に対応する期間(または有効期限まで)、データストリームが利用可能であり得る。この時間の間、例えば、処置が行われた病院内の全データがレビューに利用可能である。そのようなレビューは、処置を行った外科医および/または手術チームによって行われ得る。好適には、寿命値/有効期限は、標準的な処置後レビューが完全なデータに対して行われ得るほど十分に長い持続時間の間、完全なデータが保持されるように、選択され得る。例えば、処置から7日以内にそのようなレビューを実施することが病院の方針である場合、寿命値は、7日に設定され得る。次いで、データは、この期間の終了時に自動的に修正され得、修正されたデータストリームは、より長い期間にわたって利用可能なままであり得る。
いくつかの場合、データストリームは、第1の寿命値(または第1の有効期限)と関連付けられ得る。この寿命値は、完全なデータが利用可能なままである時間の長さを判定し得る。この期間の終了時に、データは、データ量修正システムによって修正され得る。修正されたデータ(および任意選択的にデータストリーム)は、第2の寿命値(または第1の有効期限よりも後の第2の有効期限)と関連付けられ得る。この第2の寿命値は、修正されたデータが利用可能なままである時間の長さを判定し得る。例えば、第1の寿命は、3日間であるように選択され得、第2の寿命は、14日間であるように選択され得る。この例では、完全なデータは、処置の後、3日間保存され得る。この時間の間に、完全なデータがレビューされ得る。3日後、データは、自動的に修正される。修正されたデータは、さらに14日間保持され、その後、自動的に削除される。他の期間が、必要に応じて選択され得る。第2の寿命値(第2の有効期限)は、修正されたデータが決して自動的に削除されないことを示し得る。自動的に修正/削除されるデータの代わりに、ユーザは、関連する段階でデータを修正および/または削除するように促され得る。そのように促すことは、権限のある人物がデータの管理に引き続き責任を負うことを確保し得る。
典型的には、完全なデータは、ローカルに保持されることになる。いくつかの場合、修正されたデータは、ローカルに保持され得る。いくつかの場合、修正されたデータは、遠隔に保持されることになる。修正後、システムは、修正されたデータを遠隔ストアに転送し、ローカルストアからデータを削除するように構成され得る。したがって、このような場合、完全なデータは、所定の期間にわたってローカルに利用可能であり得、その後、修正されたデータは、さらに所定の期間にわたって遠隔で利用可能であり得る。
いくつかの場合、データストリームが満了するか、その寿命の終わりに達すると、削除前に自動的に修正され得る。このようにして、削除されたデータの任意の復元は、受信されたデータストリームではなく、修正されたデータを明らかにすることになる。いくつかの場合、データストリームまたは修正されたデータストリームは、削除前に透かし(またはさらなる透かし)が付けられ得る。好適には、透かしは、データが削除されることを示す。したがって、削除されたデータが復元される場合、そのデータが意図的に削除されたと判定され得る。いくつかの場合、データを再生するための再生システムは、データが削除された(または削除されるべき)ことを示す透かしを有するデータの再生を防止するように構成され得る。
ここで、例示的な外科用ロボットシステム502を例示する図6を参照する。この例では、外科用ロボットシステム502は、制御ユニット606によって駆動される2つの外科用ロボット602および604を備える。制御ユニット606は、第1および第2のコントローラ612、614からの入力を含む、オペレータコンソール610(図2のオペレータコンソール200などであるが、これに限定されない)からの入力608を受信する。制御ユニット606は、オペレータコンソール610から、フットペダル入力、音声認識入力、ジェスチャ認識入力、視線認識入力などのような他の入力を受信し得る。制御ユニット606はまた、外科用ロボット602、604から入力616を受信する。これらの入力には、ロボットアームのジョイント上に位置する、位置センサおよびトルクセンサからのセンサデータが含まれる。制御ユニット606は、各ロボットから、力フィードバック、外科用器具からのデータ、または外科用器具についてのデータなど、他の入力616を受信してもよい。制御ユニット606は、ロボット602、604およびオペレータコンソール610から受信する入力に応答して、ロボット602、604を駆動する。制御ユニット606は、1つ以上のプロセッサ618およびメモリ620を含む。メモリ620は、1つ以上のプロセッサ618によって実行されてドライバを制御することができる、ソフトウェアコードを非一時的に記憶する。
図6の例示的な外科用ロボットシステム502は、2つの外科用ロボットを含むが、本明細書に説明される方法および技術は、1つのみの外科用ロボットを有する外科用ロボットシステム、および3つ以上の外科用ロボットを有する外科用ロボットシステムに等しく適用可能であることは、当業者には明白であろう。
上記の説明は、複数のチャネルを含む受信されたデータストリーム内の識別可能なイベントの例を説明し、その識別は、データストリームが修正されることにつながり得る。そのような場合、所与のデータチャネル(例えば、ビデオデータ)の特徴が識別され得、それに応答して、データ修正器は、同じデータチャネル(ビデオデータ)内でデータを修正し得る。いくつかの場合、1つのデータチャネルにおける1つ以上の特徴が識別され得、それに応答して、データ修正器は、特徴が識別されたデータチャネルにおけるデータと共に、またはそれに代えて、1つ以上の他のデータチャネル内のデータを修正し得る。
識別可能なイベントは、外科用ロボットシステムの状態を含むか、またはそれに依存して判定され得る。外科用ロボットシステムの状態(すなわち、システムの少なくとも一部分の状態を含む状態データ)は、器具の取り付け状態、器具の動作状態、ロボットの動作状態、アームおよび/またはアームに取り付けられた器具の構成、ならびに制御コンソールの制御状態のうちの1つ以上を含み得る。
内視鏡などの器具がアームに取り付けられていない場合、その時点では処置が開始していない可能性が高いため、データストリーム内のデータが外科処置の実施に関連しない可能性が高い。したがって、内視鏡の取り付け状態は、処置中のイベントを示す特徴としてとられ得、ここで、処置自体は、内視鏡が取り付けられていない場所では開始されていない可能性が高い。したがって、そのような特徴を識別することは、内視鏡がアームに取り付けられていないこの例では、この状態で内視鏡によってキャプチャされたビデオデータが、例えば、レビューおよび/または教育の目的に対する関連性が低い可能性が高いため、ビデオデータのその部分のデータ量を低減するためにデータ修正器によって修正されるようにマークされるか、または別様に示され得ることを意味する。この例では、特徴(内視鏡の取り付け状態)は、内視鏡が取り付けられていない期間全体を通して検出されることになる。それゆえに、データストリームは、特徴が識別可能である期間、例えば、内視鏡がアームに取り付けられるまで、修正され得る。
識別可能な特徴は、アームへの内視鏡の取り付け(すなわち、内視鏡が取り付けられている/取り付けられているままの状態ではなく、内視鏡を取り付けるイベント)を含み得る。したがって、そのような場合、データが修正されるために、特徴が常に存在する必要はない。そのような場合、アームへの内視鏡の取り付けが発生すると判定される場合、内視鏡がアームに取り付けられていなかった間に先行するデータストリームがキャプチャされたことが知られることになる。そのような特徴の判定に応答して、データ修正器は、特徴に先行するデータを修正し得る。取り付けイベントが取り外しイベントに先行される(すなわち、内視鏡がアームに再び取り付けられる前にアームから取り外されるか、または別のアームに取り付けられる)場合、両方のイベントは、特徴として識別され得、それに応答して、データ修正器は、特徴(イベントの発生)間のデータストリームを修正するように構成され得る。このようにして、データ修正器は、内視鏡がアームに取り付けられていない期間、ビデオデータを修正し得る。修正されたデータストリームは、修正された部分が、修正されていない部分よりも小さいデータ量を有することになるため、受信されたデータストリームよりも小さいデータ量を有することになる。これは、データストレージ(修正されたデータストリームが、修正されていないデータストリームの代わりに保存される場合)および/またはデータ帯域幅要件(修正されたデータストリームが、修正されていないデータストリームの代わりに転送される場合)における保存を有用に可能にする。
上記の場合は、別のデータチャネルの特徴を識別することに応答して、1つのデータチャネルを修正するデータ修正器の例である。ここで、特徴が状態データ内で判定され、ビデオデータが修正される。
器具の動作状態は、外科用ツールが外科医によって現在制御されているか否かを示し得る。例えば、把持器ツールがアームに取り付けられる場合、ツールの動作状態は、把持器ツールが起動されているか否か、すなわち、外科医によって移動/使用されているか否かを示し得る。外科医が外科手術部位のビューを有していない限り、ツールは、外科医によって使用されないため、ロボットのアームに取り付けられた少なくとも1つのツールが能動的制御下にあるとき、内視鏡が外科手術部位の画像をキャプチャすることになるため、患者の体腔内に位置することになると判定され得る。したがって、ツールが動作状態にある場合、そのような特徴は、後続するビデオデータが、実施される外科処置に関連することを示し得、例えば、データは、レビューおよび/または訓練に関連性があり、完全に保持されるべきである。そのような特徴の識別に応答して、データ修正器は、受信されたデータストリーム内の先行データを修正するように構成され得る。すなわち、ツールが動作状態に入る場合、以前の状態(例えば、非動作状態)に関連するデータは、関連性が低いと判定され得、それゆえに、これが、処置自体に関連するデータストリームの、またはレビューおよび/もしくは訓練の目的で、より重要である可能性が高い、データの品質に影響を与えることなく、以前の状態に関連するデータのデータ量を低減するように修正するためにマークされ得る。
ロボットの動作状態は、例えば、内視鏡がポートを通して挿入されているか否かを示すことによって、データストリーム内のデータを特徴化またはセグメント化するために使用され得る。ロボットの動作状態は、ロボットシステム、または制御コンソールのモードを含み得る。ロボットシステムは、「ポート訓練」モードに初期化されるか、またはそのモードにされ得る。このモードでは、器具(内視鏡または把持器器具などの他のタイプの器具であり得る)がアームに取り付けられ、ポート内に部分的に位置付けられ得る(ポートは、仮想ポートとすることができ、すなわち、物理ポートである必要はなく、これは、以下でより詳細に論じられる)。アームは、アームを押すユーザによって動かされて、システムがポートの場所を判定することを可能にし得る。このようにして、システムは、仮想ピボット点(VPP)の位置を確立し得、それを中心として、器具は、ポートを通して挿入されたときに枢動するように制限される。次いで、システムは、器具の外科的制御が開始され得る位置に向かって、器具がポートを通してさらに挿入され得る、「器具調整」モードに移動され得る。例えば、器具が内視鏡である場合、器具の先端(内視鏡撮像装置を収容し得る)が所望の外科手術部位に隣接して位置するまで、器具が挿入され得る。他の場合では、器具は、器具のエンドエフェクタが外科手術部位に位置する内視鏡の視野内に入るまで、挿入され得る。システムは、器具調整モードと、手術器具の制御がオペレータ(例えば、外科医)によって有効化され得る「外科手術」モードとの間で動かされ得る。システムはまた、外科手術モードと、器具が取り外され、かつ交換され得る「器具変更」モードとの間で好適に動かされ得る。システムが外科手術モードにある場合、内視鏡がポートを通して挿入されていると判定され得る。したがって、いくつかの場合、システムが外科手術モードにある場合、データストリームは、「より関連性が高い」(例えば、他の用途の中でも、レビューおよび/または訓練に関連性のあるデータを含む可能性が高い)と示され得る。他のとき(システムが他のモードにあるとき)には、キャプチャされたデータは、患者のビューも含み得る、手術室のビューなどの非外科手術データを含み得る。したがって、データ修正器は、外科手術モードに入る前にキャプチャされたデータ、および/またはシステムが外科手術モードを終了した後にキャプチャされたデータを修正し得る。
上述のように、ポートは、仮想ポートを含み得る。いくつかの場合、ポートは、器具が通過し得る物理ポートを備える。いくつかの場合、ポートは、「仮想ポート」であってもよく、物理ポートが存在する必要はない。これは、例えば、器具が、患者の鼻孔または口などの、患者の開口部を通して挿入される場合であり得る。仮想ポートは、上記のものと同様の様式で定義され得る。例えば、内視鏡などの器具は、仮想ポート(例えば、患者の鼻孔の中)を通して少なくとも部分的に挿入され得、アームは、ユーザによって動かされて、システムが仮想ポートの空間内の場所を判定することを可能にする。このようにして、システムは、仮想ピボット点(VPP)の位置を確立し得、それを中心として、器具は、仮想ポートを通して挿入されたときに枢動するように制限される。
いくつかの場合、外科用ロボットシステムの状態は、アームおよび/またはアームに取り付けられた器具の構成を含み得る。これは、器具/アームがどのように位置付けられるかについての情報を提供し得、そこから、例えば、処置が実施されているか、および/または内視鏡が患者の体腔内に挿入される可能性があるか否かが判定され得る。
外科用ロボットシステムの状態は、内視鏡などの器具の仮想ピボット点(VPP)が設定されるか否かを含み得る。VPPの設定は、器具がポートを通して挿入されていることを示し得る。システムは、VPPの場所、ならびに器具のエンドエフェクタおよび器具シャフトの場所の知識(例えば、アーム運動学からの)に基づいて、ポートを通して挿入される器具の有無を判定し得る。外科用ロボットシステムの状態は、器具または器具の一部分の位置および/または移動、例えば、器具の先端が患者の体腔の内側にあるか否か、または先端がポート、もしくはそのポートと関連付けられた画定されたVPPを通過したか否かを含み得る。
いくつかの場合、外部ソースがシステムの状態を示し得る。例えば、ポートは、器具、または器具の特定の部分がポートを通過するときに感知するように構成された器具センサを備え得る。器具センサは、器具を磁気的に感知するように構成された磁気センサを備え得る。例えば、器具センサは、ホール効果センサを含み得る。器具は、少なくとも部分的に磁気または磁気化され得る。器具先端は、ホール効果センサによって感知するための磁石を含み得る。
同じ事柄を判定するために異なるやり方、例えば、内視鏡先端が患者の体腔内に挿入されているか否かが存在し得ることが理解されるであろう。データ修正器は、識別された特徴の任意の1つまたは任意の組み合わせに依存して、データストリームを修正するように構成され得る。このようにして、データ量修正器システムは、システム障害が1つの特徴を不正確に判定または識別させ得る場合でも、受信されたデータストリームの一部分(複数可)が修正されることになる精度をより良好に確保するために、冗長性を有して動作し得る。これは、完全に保持されることを所望される、受信されたデータストリームのそれらの部分のみが、例えば、それらの部分が臨床的に最も関連性があるため、修正されず、データストリームの他の部分が修正されることを確保するのを助けることによって、修正されたデータストリームのデータ量を低減することを支援し得る。データストリームの他の部分は、多かれ少なかれ修正され得る。例えば、受信されたデータストリームの異なる部分は、修正されたデータ量に対する修正されていないデータ量の比率が、修正される異なる部分の間で異なるように、修正されてもよい。データが修正される量、すなわち、修正されていないデータ量に対する修正されたデータ量の比率は、識別された特徴に依存して選択され得る。
いくつかの実施態様では、識別可能特徴は、次のうちの1つ以上を含むか、それに依存して判定される。
(i)ビデオデータが拡大または縮小する円を含むか否か。
内視鏡が外科手術部位に向かってポートを通過すると、ポートの外周は、画面の境界を越えて広がる内視鏡ビデオの円として見えることになる。内視鏡がポートから退避されると、ポートの外周は、画面の境界を越えて収縮する内視鏡ビデオの円として見えることになる。円は、内視鏡がポートから離れて移動される際に、内視鏡の視野を一方側に残し得る。したがって、例えば、画像認識によって、ビデオ画像が拡大円および収縮円のうちの一方または他方(あるいは両方)を含むか否かを検出することは、内視鏡先端がポートを通して内向きまたは外向き(あるいは両方)に通過するか否かの検出を可能にし得る。それゆえに、この特徴の判定は、内視鏡先端が手術野内またはそこから外に遷移しているかをデータ修正器が判定することを可能にし得る。したがって、この判定は、データ修正器が、それに応じて修正されたデータを生成することを可能にし得る。内視鏡挿入前および/または内視鏡退避後にキャプチャされたデータは、そのデータ量を低減するために修正され得る。これらのイベント間のデータは、比較的関連性が高く、修正されないことを示され得る。
(ii)ビデオデータがポート識別特徴を含むか否か。
ポートは、画像検出モジュールによって検出され得る視覚的インジケータを用いてマークされ得る。この視覚的インジケータの検出時に、内視鏡先端がポートを通過したと判定され得る。内視鏡がポートを通過した方向は、視覚的インジケータがビデオデータ内でどのように動くか、および/または内視鏡の以前の状態が「挿入」または「退避」であったかに基づいて判定され得る。
(iii)画像ホワイトバランス、画像スペクトル、および画像の中心から縁までの画像勾配のうちの1つ以上の尺度、ならびに/または画像ホワイトバランス、画像スペクトル、および画像の中心から縁までの画像勾配のうちの1つ以上の尺度の変化
外科手術部位からキャプチャされたビデオデータは、手術室からキャプチャされたビデオデータよりもはるかに赤色である可能性が高い。外科手術部位からキャプチャされたビデオデータは、手術室からキャプチャされたビデオデータよりも、中心から縁までのより大きい画像勾配を有する可能性が高い。したがって、これらの画像(または一連の画像)の尺度のうちの1つ以上は、内視鏡が挿入されるか否かを示し得る。いくつかの場合、例えば、ビデオフレームのシーケンス内のフレーム間の1つ以上の尺度の変化は、遷移が発生したと判定するために使用され得る。例えば、シーケンス内のより早いフレームが、シーケンス内のより遅いフレームよりも低い赤色コンテンツを有する場合、手術室(手術野外)のビデオから患者の体腔(手術野内)のビデオへの遷移が発生したと判定され得る。
画像スペクトルの尺度は、可視スペクトル内、可視スペクトルの外側、または可視スペクトルの内側および外側の両方で得られた尺度を含み得る。例えば、画像スペクトルは、可視スペクトルに及び得る。好適には、画像スペクトルは、スペクトルの赤外線部および紫外線部のうちの1つ以上を含む。画像スペクトルの尺度は、可視帯域幅、紫外線帯域幅、および赤外線帯域幅のうちの2つ以上などの、複数の帯域幅にわたって取得された尺度を含み得る。いくつか場合、フレーム間のUV光のレベルの低下が存在する場合、手術室(より多くの/より明るいUV源が存在し得る)から患者の体腔への遷移が発生したと判定され得る。フレーム間のIR光のレベルの増加は、同様に、手術室から患者の体腔(比較的高いIR放射が存在し得る)への遷移が発生したことを示し得る。
フレームは、シーケンス内の連続フレームであってもよく、または1つ以上の他のフレームによって離間されてもよい。手術野内または手術野外への遷移の大まかな判定は、例えば、30秒ほど時間的に互いに間隔を置いたフレームを比較することによって見出され得る。当業者に明らかであろうように、任意の他の好適な期間が使用され得る。指定された期間内に発生する遷移が識別されると、より短い期間によって分離されたフレームが比較され得る。いくつかの場合、フレームは、一連の連続するより短い時間分離で比較され得る。例えば、30秒、10秒、2秒、0.5秒である。より大きいおよび/またはより小さい時間分離値が使用され得る。多かれ少なかれ異なる時間分離が使用され得る。このようにして、より微細な判定が、より小さい処理コストおよび/または時間で反復的に達成され得る。
尺度は、画像の増加割合が、比較的赤色の光、比較的少ないUV光、比較的多いIR光などのうちの1つ以上を含むことを含み得る。これは、内視鏡がポートまたは患者の体腔に近づいていることを示し得る。このようにして、尺度は、キャプチャされたビデオが手術野の外側から手術野の内側に遷移しているという指標であり得る。逆もまた真実であり得、画像の縮小割合が、比較的赤色の光、比較的少ないUV光、比較的多いIR光などのうちの1つ以上を含むことを尺度が含む場合、内視鏡が手術野の内側から手術野の外側に遷移していると判定され得る。
尺度は、所与の周波数帯(複数可)における電磁放射の吸収の尺度を含み得る。例えば、差分吸収などの吸収の尺度は、患者の組織を検出するために使用され得る。これは、内視鏡が患者の体腔内にあること、またはおそらく患者が視野内で視認可能であることを示し得る。尺度は、視認される組織を識別するために、システムの状態などの異なる測定基準と共に使用され得る(識別された組織が内部または外部のどちらであるかを任意選択的に含む)。
画像ホワイトバランス、画像スペクトル、および/または画像勾配の尺度は、画像に対する平均値を含み得る。
(iv)ビデオデータが解剖学的特徴を含むか否か。
ビデオデータは、ビデオデータ内に示される物体を判定するために分析され得る。例えば、血管または内臓などの内部解剖学的構造が検出される場合、システムは、内視鏡が手術野の内側にあると判定し得る。データ修正器は、手術野内でキャプチャされていると定義されていないビデオデータの一部を選択的に修正し得る。したがって、ビデオセグメントが内臓の画像を含む場合、ビデオセグメントは、処置に関連する可能性が高く、そのため、修正されないものとしてマークされ得る。識別された器官が、例えば、画像スペクトルの尺度も考慮することによって、その時点で実際に患者の内部にあることを確認するために、さらなるチェックがなされてもよい。
手術野の外側にある内視鏡を示す解剖学的特徴が検出され得る。例えば、ビデオデータの分析は、ビデオデータが患者の腹部、または腕の外部ビューを含むと判定し得る。そのような場合、ビデオデータの関連部分は、外科処置に対して比較的関連性が低いものとしてマークされ得る(例えば、腹部が全視野を占有する場合)。
(v)ビデオデータが、手術野の外部であることが知られている物体を含むか否か。
ビデオデータ分析は、手術室内の物体(手術テーブル、ロボットアーム、心拍モニタなど)が視認可能であると判定する場合、内視鏡が手術野の外側にあり、かつ手術室自体からビデオをキャプチャしていると判定され得る。ビデオデータのそのような部分は、修正のためにマークされ得る。ビデオデータは、既知の物体(例えば、手術台の脚)が視野全体の少なくとも一部分を占有する場合、修正のためにマークされ得る。
(vi)実施されている処置。
異なる処置について、ビデオデータを形成するビデオは、異なる特性を含む可能性が高い。例えば、内視鏡がポートに挿入される/ポートから除去される処置の回数、挿入期間の持続時間、挿入された期間中に視認可能な外科手術部位などである。実施されている処置に対する特徴の識別に基づくことは、ビデオデータのビデオ分析が、何を予期するか、またはおよそ何を予期するかを知ることを可能にし得る。これは、結果的に、より高い精度でビデオの特徴の検出または識別を可能にし得る。
(vii)1つ以上の既知の特徴を使用して訓練された機械学習システム。
オペレータは、特徴がデータストリーム内に存在するとき、システムに表示し得、この表示は、他のデータの同じまたは同様の特徴を認識することができるように入力表示から学習し得る機械学習システムに渡され得る。機械学習システムは、畳み込みニューラルネットワークを含み得る。機械学習システムは、リカレントニューラルネットワークを含み得る。
個人識別可能特徴は、いくつかの場合、データストリームの一部分と関連付けられたマーカを含み得る。マーカは、データストリームの一部を形成し得、例えば、マーカは、処置中またはその後のいくつかの時点でデータストリームに追加されていてもよい。データストリームの1つ以上のデータチャネルは、マーカを含み得る。例えば、ビデオデータは、マーカを含み得る。マーカは、マーカが関連付けられているか、またはマーカが一部を形成する、データチャネルに依存し得る、任意の好適な形態をとり得る。いくつかの場合、マーカは、ビデオストリームに追加される拡張であり得る。拡張は、ビデオがキャプチャされる際、またはビデオがキャプチャされた後にいくつかの時点で追加され得る。マーカは、本明細書に説明される1つ以上の他の特徴(処置の段階、内部器官の視認性、システムの状態など)の存在を示し得る。マーカは、本明細書に説明される他のそのような特徴(ビデオが手術野の内側、手術野の外側などであるかどうか)に向かう、離れる、またはそれらの間の状態または遷移を示し得る。
これらの特徴の組み合わせが有用に使用され得る。例えば、円が画像内で拡大し、その後に画像の赤みが増加することを検出することは、内視鏡先端がポートを通して挿入されたことを判定するために使用され得る。特徴の組み合わせは、有利には、そのような判定が行われ得る精度を向上させ得る。
例示的な内視鏡は、図4に関して上記に説明された。他のタイプの内視鏡は、本技術と共に使用され得る。そのような内視鏡は、内視鏡が、端にカメラが装着され得るプローブであるとみなされ得る、「チップオンティップ」タイプ内視鏡を含む。カメラは、チップ、例えば、CCDチップ、および任意選択的にいくつかの関連する処理論理の形態をとり得る(少なくともいくつかの処理論理が別個に提供され得る)。図4を参照して説明される内視鏡は、外部光源と共に動作する。内部光源と共に動作する内視鏡を使用することもできる。例えば、光源は、内視鏡自体の一部として提供され得、光は、所望の光出力場所に導かれる。光ルーティングは、1つ以上の光ファイバケーブルによって達成され得る。いくつかの場合、光源は、内視鏡の先端に、またはそれに隣接して提供され得る。そのような光源は、LEDを含み得る。複数のLEDが提供され得る。内部、外部、または内部と外部とのいくつかの組み合わせであるかにかかわらず、光源は、光出力の強度および/または光出力の周波数を変化させるために制御され得る。
いくつかの場合、内視鏡は、可視範囲外の光(またはより一般的には、電磁放射)を出力するように構成された光源(またはより一般的には、照明源)を提供され得る。好適には、照明源は、スペクトルにわたって電磁放射を出力するように構成される。スペクトルは、可視光、紫外線、および赤外線のうちの1つ以上を含み得る。
データを修正することは、データストリームから時間スライスを除去すること、またはデータストリームの少なくとも一部分をぼかすこと/マスクすることを含み得る。好適には、データを修正することは、データの少なくとも一部分の品質または忠実性を低減することを含む。好適には、データの修正は、必須ではないが、すべてのデータチャネルで実施される。データの修正は、必須ではないが、すべてのデータチャネルで一度に実施され得る。いくつかの場合、データ修正器は、データチャネルのサブセットを修正するように構成され得る。例えば、データ修正器は、ビデオデータチャネル、および場合により音声データチャネルも修正し得るが、テレマティクスデータおよび/または状態データを修正する必要はない。データ修正器が、データチャネルを別個に修正するように構成される場合、データ量修正システムは、好適には、修正されたデータストリームを保存または転送する前に、修正されたデータチャネルを任意の残りのデータチャネルと共に、修正されたデータストリームに組み合わせるように構成される。いくつかの場合、データチャネルは、別個に、またはデータチャネルのサブセットを含むグループ内に、保存および/または転送され得る。
いくつかの場合、上記に論じられたように、データ修正器は、検出されたか、または識別された特徴の(時系列的に)前のある期間の受信されたデータストリーム、例えば、識別された特徴の前の受信されたデータストリームの第1のデータ部分を修正し得る。データ修正器は、検出された特徴の(時系列的に)後のある期間の受信されたデータストリーム、例えば、識別された特徴の後の受信されたデータストリームの第2のデータ部分を修正し得る。第1のデータ部分および第2のデータ部分のうちの一方または両方が、所定の期間に関連し得る。
第1のデータ部分は、好適には、受信されたデータストリームの開始から、特徴が識別される、受信されたデータストリームの時点までの受信されたデータストリームの一部分であり得る。第1のデータ部分は、代わりに、30秒、1分、2分、5分、10分などの所与の期間に関連してもよい。所与の期間が、受信されたデータストリームの開始から、特徴が識別される時点までの総時間以上である場合、第1のデータ部分は、開始から、識別された特徴の時点までの、受信されたデータストリームの部分を含む。所与の期間は、識別された特徴が発生する時点で終了し得る。すなわち、第1の期間は、識別された特徴の発生で終了する期間であり得る。所与の期間は、例えば、ユーザによって選択可能であり得る。所与の期間は、自動的に選択されてもよい。所与の期間は、識別された特徴および/または実施されている処置に依存して選択可能であり得る。例えば、第1の識別された特徴に対して、所与の期間は、1分とすることができ、第2の識別された特徴に対して、所与の期間は、2分であるか、または受信されたデータストリームの開始から、識別された特徴が発生する時点までとすることができる。
第2のデータ部分は、好適には、受信されたデータストリーム内の時点からの受信データストリームの部分であり得、その時点で、特徴は、受信されたデータストリームの終了まで識別される。第2のデータ部分は、代わりに、30秒、1分、2分、5分、10分などのさらなる所与の期間に関連してもよい。さらなる所与の期間が、特徴が識別された時点から受信されたデータストリームの終了までの総時間以上である場合、第2のデータ部分は、識別された特徴から受信されたデータストリームの終了までの受信されたデータストリームの部分を含む。さらなる所与の期間は、識別された特徴が発生する時点で開始し得る。すなわち、第2の期間は、識別された特徴の発生で開始する期間であり得る。さらなる所与の期間は、例えば、ユーザによって選択可能であり得る。さらなる所与の期間は、自動的に選択されてもよい。所与の期間は、識別された特徴および/または実施されている処置に依存して選択可能であり得る。例えば、第3の識別された特徴に対して、さらなる所与の期間は、1分とすることができ、第4の識別された特徴に対して、さらなる所与の期間は、2分であるか、または識別された特徴が発生する時点から、受信されたデータストリームの終了までとすることができる。
第1の期間および第2の期間は、同一であってもよいが、そうである必要はない。第1の期間および第2の期間は、互いに関連してもよい。例えば、第1の期間は、第2の期間の半分、10分の1などであってもよい。したがって、一例では、第1の期間は、1分であり、第2の期間は、2分である。別の例では、第1の期間は、1分であり、第2の期間は、10分である。第1の期間と第2の期間との間の他の比率が可能であり、例えば、識別された特徴、実施されている手順などに依存して、例えば、自動的に、ユーザによって選択され得る。第1の期間は、第2の期間よりも長くてもよい。
データ修正器は、検出された特徴間の受信されたデータストリームの期間(時系列的に)を修正し得る。いくつかの場合、データ修正器は、検出された特徴の周囲に(すなわち、そのいずれかの側に)位置する期間の間、受信されたデータストリームを修正するように構成され得る。
データ修正は、外科処置におけるさらなるイベントを示す受信されたデータストリーム内のさらなる特徴を識別することと、受信されたデータストリームの第3の期間を修正することによって修正されたデータストリームを生成することと、を、識別された特徴と識別されたさらなる特徴との間に、または識別された特徴および識別されたさらなる特徴の第1のものの前、ならびに識別された特徴および識別されたさらなる特徴の第2のものの後に、行うように構成され得る。
第3の期間が、識別された特徴と識別されたさらなる特徴との間である場合、第3の期間は、識別された特徴の発生と識別されたさらなる特徴との間の時間を厳密に制限される必要はない。いくつかの例では、第3の期間は、識別された特徴の発生とさらなる識別された特徴との間の時間よりも長くてもよい。例えば、第3の期間は、識別された特徴およびさらなる識別された特徴の前記第1のものの前の時点、ならびに識別された特徴およびさらなる識別された特徴の第2のものの後の時点を追加的にカバーし得る。
特徴を識別することは、ルールセットのうちのあるルールが満たされているか否かを判定することと、ルールが満たされる特徴を識別することと、を含み得る。ルールは、外科用ロボットシステムおよび/または外科処置のパラメータグループのパラメータが、所定の基準に合致する場合に満たされ得る。受信されたデータストリームは、パラメータを含み得る。パラメータは、受信されたデータストリームの分析から判定され得る。
好適には、パラメータ(またはパラメータグループの1つよりも多いパラメータ)は、受信されたデータストリームのメタデータに表され得る。例えば、メタデータは、パラメータを含み得る。パラメータを判定するための受信されたデータストリームの分析は、受信されたデータストリームのメタデータを判定することと、メタデータからパラメータ値を抽出することと、を含み得る。パラメータを判定するための受信されたデータストリームの分析は、受信されたデータストリームのビデオチャネル、またはビデオチャネルの一部分の画像分析を含み得る。分析は、ビデオ内のパラメータを識別するために、画像認識/画像マッチングを含み得る。パラメータを判定するための受信されたデータストリームの分析は、受信されたデータストリームのテレメトリデータ部分を分析することを含み得る。
基準(複数可)は、好適には、器具のタイプ、器具の取り付け状態、外科用ロボットシステムの動作状態、受信されたデータストリームの少なくとも一態様または一部分の特性のうちの1つ以上、および上記の組み合わせを含む。例えば、基準は、器具が、システムに取り付けられ、かつ器具が外科医の動作可能な制御下にあることを示す「外科手術モード」にある、把持器器具であることを含み得る。パラメータが、この基準が満たされていることを示す場合、ルールが満たされ、特徴が識別される。
特徴を識別するために使用される基準は、修正されたデータストリームの意図された使用、および/または修正されたデータストリームの意図された宛先に依存して好適に選択される。例えば、データが縫合に関する教育セッションに使用されるとき、データストリームを修正するために使用される特徴は、縫合器具の着脱、および縫合動作を示す器具の制御を含み得る。
上述のように、特定のチャネルのデータ量が増加するが、全体的なデータ量を低減することができる。ここで、この例が議論される。受信されたデータストリームが2つのチャネルを含む場合、それらのチャネルの両方から単一のチャネルにデータのサブセットを組み合わせることが可能である。結果として得られる単一のチャネルは、受信されたチャネルのいずれか1つよりも大きいデータ量を有する可能性が高い(ただし、それは必要ではないが、各チャネルは、チャネルが組み合わせられる前に本明細書に説明されるように修正され得る)。しかしながら、結果として得られた単一のチャネルが、受信されたチャネルの組み合わせられたデータ量よりも小さいデータ量を有する場合、利益は、依然として得られ得る。第1のチャネルからのデータは、第2のチャネルに重ね合わせられ得る(または第2のチャネルにメタデータを追加することなどによって別様に組み合わせられる)。例として、ジョイントのサブセットのジョイントデータは、ビデオデータチャネル上に重ね合わせられ得る。重ね合わせられたジョイントデータを含む、結果として得られるビデオデータチャネルは、受信されたビデオデータチャネルよりも大きいデータ量を有することになる。次いで、受信された関節データが省略され得る。省略されたジョイントデータが、ジョイントデータのサブセットよりも大きいデータ量を有するため、全体的なデータ量の保存が実現される。
ここで、外科用ロボットシステムによってキャプチャされたデータストリームに基づいて、修正されたデータストリームを自動的に生成するための例示的な方法700を例示する図7を参照する。ブロック702では、システムによってキャプチャされたデータストリームが受信される。データストリームは、例えば、受信器504によって、上記に論じられたデータ量修正システム500によって受信され得る。ブロック704では、受信されたデータストリームの特徴が識別される。例えば、特徴は、内視鏡が患者の体腔内に挿入されているなどの、処置におけるイベントまたは段階の判定を含み得る。ブロック706では、修正されたデータストリームが生成される。修正されたデータストリームは、ブロック702で受信されたデータストリームおよびブロック704で識別される特徴に依存して生成される。修正されたデータストリームは、データ量を低減するために、すなわち、修正されたデータストリームが受信されたデータストリームよりも少ないデータを含むように、生成される。
いくつかの場合、ビデオデータは、外科用ロボットシステムのアームに取り付け可能である内視鏡によってキャプチャされる必要はない。例えば、ビデオデータは、ロボット内視鏡ではない内視鏡によってキャプチャされ得る。内視鏡は、手動で制御可能な内視鏡であってもよい。このように、ビデオデータ、またはより一般的には、データストリームは、外科用ロボットシステムの外部にある(その一部ではない)装置によってキャプチャされ得る。そのような装置は、内視鏡に限定されない。そのような装置は、患者および/または患者の状態を監視するための監視装置を備え得る。そのような装置は、内視鏡、心拍数モニタ、血圧モニタ、血流モニタ、呼吸モニタなどのうちの1つ以上を含み得る。
データ量修正システムは、監視装置などの装置からキャプチャされたデータストリームを修正するために提供され得る。データストリームは、ビデオデータを含み得る。データ量修正システムは、好適には、データストリームを受信することと、イベントを示すデータストリームの特徴を識別することと、識別された特徴および受信されたデータストリームに依存して、受信されたデータストリームよりも小さいデータ量を有する修正されたデータストリームを生成することと、を行うように構成されている。
データ量修正システムは、データストリームを受信するように構成された受信器を備え得る。データ量修正システムは、修正されたデータストリームを生成するように構成されたデータ修正器を備え得る。データ修正器は、特徴を識別するように構成され得る。特徴を識別することは、受信されたデータストリーム内の特徴を検出することを含み得る。
装置は、手術野内の撮像のための撮像装置を含み得る。装置は、患者内の外科手術部位で撮像するための撮像装置を含み得る。データストリームは、手術野内からキャプチャされたデータを含み得る。データストリームは、患者内の外科手術部位からキャプチャされたデータを含み得る。データストリームは、ビデオデータを含み得る。データストリームは、手術野外からキャプチャされたデータを含み得る。
装置は、外科用ロボットシステムから遠隔(その外部)であってもよい。データ修正器は、外科用ロボットシステムで、またはそれと共に使用するためのものであり得る。データ修正器は、外科用ロボットシステムの一部を形成し得る。データは、外科用ロボットシステムの外部(またはその遠隔から)の装置からキャプチャされ、外科用ロボットシステムで修正され得る。すなわち、外科用ロボットシステム(またはデータ量修正システムなどの外科用ロボットシステムの少なくとも一部分)は、システムから遠隔でキャプチャされたデータを修正するために使用され得る。外科用ロボットシステムから遠隔でキャプチャされたデータは、外科用ロボットシステムによってキャプチャされたデータと同期され得る。外科用ロボットシステムから遠隔でキャプチャされたデータは、外科用ロボットシステムによってキャプチャされたデータに依存して修正され得る。
イベントを示すデータストリームの特徴は、本明細書の他の箇所に説明される特徴に依存して、含むか、または判定され得る(完全な詳細は、簡潔化のためにここでは繰り返さない)。例えば、データストリームの特徴は、ビデオデータが手術野の外側または内側からキャプチャされるという表示、および/または手術野の内側でキャプチャされることへ/からビデオデータが手術野の外側からキャプチャされることの間の遷移を含むという表示を含み得る。そのような特徴は、(本明細書の他の箇所でより詳細に説明されるように)ビデオデータが拡大または縮小する円を含むか否かと、ビデオデータがポート識別特徴を含むか否かと、画像ホワイトバランス、画像スペクトル、および画像の中心から縁までの画像勾配のうちの1つ以上の尺度、ならびに/または画像ホワイトバランス、画像スペクトル、および画像の中心から縁までの画像勾配のうちの1つ以上の尺度の変化と、ビデオデータが解剖学的特徴を含むか否かと、ビデオデータが、手術野の外部であることが知られている物体を含むか否かと、実施されている処置と、1つ以上の既知の特徴を使用して訓練された機械学習システムと、のうちの1つ以上(それらの組み合わせを含む)を含み得る。
データストリームは、本明細書の他の箇所に説明されるように修正され得る(完全な詳細は、簡潔化のためにここでは繰り返されない)。
このようにして、例えば、外科用ロボットシステムを使用して、外科用ロボットシステムから遠隔でキャプチャされたデータを修正することが可能である。外科用ロボットシステムから遠隔でキャプチャされたデータは、手術室を離れる前に修正され得る。外科用ロボットシステムから遠隔でキャプチャされたデータは、例えば、外科用ロボットシステムを通過するときに、外科用ロボットシステムで修正され得る。外科用ロボットシステムおよび/または修正されたデータから遠隔でキャプチャされたデータのさらなる処理が実施され得、本明細書の別の箇所に説明されるように、暗号化、透かし、寿命値との関連付けなどを含む。
ここで図8を参照すると、計算および/または電子装置の任意の形態として実装され得る例示のコンピューティングベースの装置800の様々な構成要素が例示され、本明細書に記述される方法および修正システムの実施形態が実装され得る。コンピューティングベースの装置800は、コンピュータ実行可能命令を処理するためのマイクロプロセッサ、コントローラ、または任意の他の好適なタイプのプロセッサであり得る、1つ以上のプロセッサ802を含む。いくつかの実施例では、例えば、チップアーキテクチャ上のシステムが使用される場合、プロセッサ802は、ハードウェアにおいて(ソフトウェアまたはファームウェアではなく)、データストリームを修正する方法の一部を実装する、1つ以上の固定機能ブロック(加速器とも呼ばれる)を含み得る。オペレーティングシステム804または任意の他の好適なプラットフォームソフトウェアを含むプラットフォームソフトウェアは、コンピューティングベースの装置で提供され、それにより、図7の方法を実装するソフトウェア805などのアプリケーションソフトウェアが装置上で実行されることが可能になる。
コンピュータ実行可能命令は、コンピューティングベースの装置800によってアクセス可能である任意のコンピュータ可読媒体を使用して提供されてもよい。コンピュータ可読媒体は、例えば、メモリ806および通信媒体などのコンピュータ記憶媒体を含み得る。メモリ806などのコンピュータ記憶媒体(すなわち、非一時的機械可読媒体)は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術に実装された揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含む。コンピュータ記憶媒体には、RAM、ROM、EPROM、EEPROM、フラッシュメモリもしくは他のメモリ技術、CD-ROM、デジタル汎用ディスク(DVD)もしくは他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、またはコンピューティングベースの装置によるアクセスのために情報を記憶するために使用され得る任意の他の非送信媒体が含まれるが、これらに限定されない。対照的に、通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、もしくはキャリア波などの変調データ信号内の他のデータ、または他のトランスポート機構を具現化し得る。本明細書で定義されるように、コンピュータ記憶媒体は、通信媒体を含まない。コンピュータ記憶媒体(すなわち、非一時的機械可読媒体、例えば、メモリ806)は、コンピューティングベースの装置800内に示されるが、記憶装置は、リモートで分配または位置し、(例えば、通信インターフェース808を使用して)ネットワークまたは他の通信リンクを介してアクセスされ得ることが理解されるであろう。
コンピューティングベースの装置800はまた、コンピューティングベースの装置800から分離され、またはそれと統合され得る表示装置812に、表示情報を出力するように配置された入力/出力コントローラ810を含む。表示情報は、グラフィカルユーザインターフェースを提供し得る。入力/出力コントローラ810はまた、ユーザ入力装置814(例えば、マウスまたはキーボード)などの1つ以上の装置から入力を受信および処理するように配置される。このユーザ入力を使用して、検証を開始することができる。一実施形態では、表示装置812はまた、それがタッチセンサ式表示装置である場合に、ユーザ入力装置814として作用してもよい。入力/出力コントローラ810はまた、表示装置以外の装置、例えば、局所的に接続された印刷装置(図示せず)にデータを出力することができる。
上述の説明では、説明を容易にするために、システムによって講じられた措置は機能ブロックまたはモジュールに分割されている。実際には、これらのブロックのうちの2つ以上を、建築的に組み合わせることができる。機能を異なる機能ブロックに分割することもできる。
本技術を外科用ロボットシステムの文脈において説明してきたが、説明された少なくともいくつかの特徴は、かかるシステムに限定されるものではなく、より広くはロボットシステムに適用され得る。いくつかの例では、本技術は、遠隔で動作するロボットシステムに適用され得る。本技術が有用であり得る状況のいくつかの実施例には、探索、調査、または修理のために「ヘビのような」ロボットを使用する実施例が含まれる。外科用ロボットの場合、エンドエフェクタは、ハサミ、外科用カッタ、外科用ピンサ、または焼灼器(cauteriser)などの外科用ツールであってもよい。
ロボットシステムには、車両製造システム、部品取り扱いシステム、実験室システムなどの製造システム、および危険物などのためのマニピュレータまたは外科用マニピュレータが含まれ得る。
本明細書によって、本出願人は、本明細書に説明される各個々の特徴および2つ以上のかかる特徴の任意の組み合わせを、かかる特徴または組み合わせが、当業者に共通する一般知識に照らして、全体として本明細書に基づいて行うことができるような程度まで、かかる特徴または特徴の組み合わせが、本明細書に開示する任意の問題を解決するかにかかわらず、かつ特許請求の範囲を限定することなく、分離して開示する。本出願人は、本発明の態様が、任意のかかる個々の特徴または特徴の組み合わせからなり得ることを示している。前述の説明を考慮すると、本発明の範囲内で様々な修正を行うことができることは当業者には明らかであろう。

Claims (24)

  1. 外科用ロボットシステムにおけるデータストリームのデータ量を低減する方法であって、前記外科用ロボットシステムが、基部、および前記基部から器具の取り付け部まで延在するアーム、を有するロボットを備え、前記アームが、複数のジョイントを備え、それによって、前記アームの構成を変更することができ、前記方法が、
    前記外科用ロボットシステムによってキャプチャされたデータストリームを受信することであって、前記データストリームが、外科処置に関するデータを含み、かつ第1のデータ量を有する、受信することと、
    前記外科処置におけるイベントを示す前記受信されたデータストリーム内の特徴を識別することと、
    前記識別された特徴に依存して、前記受信されたデータストリームを修正して、前記第1のデータ量よりも小さい第2のデータ量を有する、修正されたデータストリームを生成することと、を含む、方法。
  2. 前記識別された特徴の前の前記受信されたデータストリームの第1のデータ部分と、
    前記識別された特徴の後の前記受信されたデータストリームの第2のデータ部分と、のうちの1つ以上を修正することによって、修正されたデータストリームを生成することを含む、請求項1に記載の方法。
  3. 前記第1のデータ部分および前記第2のデータ部分のうちの一方または両方が、所定の期間に関連する、請求項2に記載の方法。
  4. 前記外科処置におけるさらなるイベントを示す前記受信されたデータストリーム内のさらなる特徴を識別することと、前記受信されたデータストリームの第3の期間を修正することによって前記修正されたデータストリームを生成することと、を、
    前記識別された特徴と前記識別されたさらなる特徴との間に、または
    前記識別された特徴および前記識別されたさらなる特徴の前記第1のものの前、ならびに前記識別された特徴および前記識別されたさらなる特徴の前記第2のものの後に、含む、請求項1~3のいずれか一項に記載の方法。
  5. 前記特徴を識別することは、ルールセットのうちのあるルールが満たされているか否かを判定することと、前記ルールが満たされる特徴を識別することと、を含む、請求項1~4のいずれかに記載の方法。
  6. 前記ルールが、前記外科用ロボットシステムおよび/または前記外科処置のパラメータグループのうちのあるパラメータが所定の基準に合致する場合に満たされる、請求項5に記載の方法。
  7. 前記受信されたデータストリームが、前記パラメータを含むか、または前記パラメータが、前記受信されたデータストリームの分析から判定される、請求項6に記載の方法。
  8. 前記修正されたデータストリームを保存および/または転送することを含む、請求項1~7のいずれか一項に記載の方法。
  9. 前記受信されたデータストリームが、データチャネルグループからの1つ以上のデータチャネルを含み、前記データチャネルグループが、
    前記外科用ロボットシステムに連結された内視鏡から受信されたビデオデータと、
    前記外科処置に関して記録された音声データと、
    前記外科用ロボットシステムに対応するテレマティクスデータと、
    前記外科用ロボットシステムの少なくとも一部分の状態を含む状態データと、
    前記ローカルネットワーク上の追加の装置によって送信されるさらなるデータと、を含み、
    前記方法が、前記データチャネルグループからの1つ以上のデータチャネルに依存して、前記特徴を識別することを含む、請求項1~8のいずれか一項に記載の方法。
  10. 前記方法が、前記データチャネルグループの第1のデータチャネルに依存して、前記特徴を識別することを含み、前記修正されたデータストリームを生成することが、
    前記第1のデータチャネルと、
    前記データチャネルグループの第2のデータチャネルと、のうちの1つ以上を修正することを含む、請求項9に記載の方法。
  11. 前記識別された特徴が、
    器具の取り付け状態と、
    前記アームに取り付けられた器具の動作状態と、
    前記ロボットシステムの動作状態または動作モードと、
    前記アームおよび/または前記アームに取り付けられた器具の構成と、
    前記制御コンソールの制御状態と、のうちの1つ以上の値または変化を示す、請求項1~10のいずれか一項に記載の方法。
  12. 前記識別された特徴が、
    前記ビデオデータ内で検出された特徴と、
    センサデータと、
    外部に接続されたシステムによって報告されたデータと、のうちの1つ以上を示す、請求項1~11のいずれか一項に記載の方法。
  13. 前記方法が、
    前記ビデオデータの少なくとも一部分のビデオ精細度と、
    前記ビデオデータの少なくとも一部分のビデオチャネルの数と、
    前記ビデオデータの少なくとも一部分のフレームレートと、
    前記ビデオデータの少なくとも一部分の色域と、
    前記ロボットシステムの状態の表現と、
    前記音声データの少なくとも一部分の音声精細度と、
    前記データチャネルグループ内のデータチャネルの数と、のうちの1つ以上を修正することによって、修正されたデータストリームを生成することを含む、請求項9~12のいずれか一項に記載の方法。
  14. 前記方法は、前記修正されたデータストリームが、
    第1の解像度を有するビデオデータの一部分、および第2のより低い解像度を有するビデオデータの一部分と、
    第1のチャネル数を有するビデオデータの一部分、および第2のより少ないチャネル数を有するビデオデータの一部分と、
    第1のフレームレートを有するビデオデータの一部分、および第2のより低いフレームレートを有するビデオデータの一部分と、
    第1の色域を有するビデオデータの一部分、および第2のより小さい色域を有するビデオデータの一部分と、
    前記状態が変化しない間の複数の時点における前記ロボットシステムの状態に関連するデータの代わりに、前記ロボットシステムの状態の変化に関するデータと、
    既知の形状に関連する完全なビデオまたはグラフィックレンダリングデータの代わりに前記ビデオデータ内の前記既知の形状のワイヤフレームモデルと、
    構造に関連する完全なビデオデータの代わりに前記ビデオデータ内の前記構造の説明と、
    完全なビデオデータまたは完全なテレマティクスデータの代わりに、絶対場所および/または相対場所の説明、ならびに速度および/または運動の軌道の説明と、のうちの1つ以上を含むように、前記受信されたデータストリームを修正することを含む、請求項9~13のいずれか一項に記載の方法。
  15. 前記構造の前記説明が、解剖学的構造、器具、およびエンドエフェクタのうちの1つ以上の説明を含む、請求項14に記載の方法。
  16. 前記方法が、前記受信されたデータストリームの少なくとも一部分を圧縮することによって、前記修正されたデータストリームを生成することを含む、請求項1~15のいずれか一項に記載の方法。
  17. 前記方法が、前記データチャネルグループからの1つ以上のデータチャネルの少なくとも一部分を圧縮することによって、前記修正されたデータストリームを生成することを含む、請求項16に記載の方法。
  18. 前記方法が、前記受信されたデータストリームの少なくとも一部分をダウンサンプリングすることによって、前記修正されたデータストリームを生成することを含む、請求項1~17のいずれか一項に記載の方法。
  19. 前記方法が、前記外科処置が実施されている際に、前記修正されたデータストリームを生成することを含む、請求項1~18のいずれか一項に記載の方法。
  20. 前記方法が、
    前記修正されたデータストリームをリアルタイムまたは実質的にリアルタイムに生成することと、
    前記修正されたデータストリームを遠隔プロセッサに送信し、それによって、前記遠隔プロセッサが、前記修正されたデータストリームのリアルタイムまたは実質的にリアルタイムの分析を実施することを可能にすることと、
    前記遠隔プロセッサから、前記外科用ロボットシステムのオペレータを支援するための前記分析の結果をリアルタイムまたは実質的にリアルタイムに受信することと、を含む、請求項1~19のいずれか一項に記載の方法。
  21. 外科用ロボットシステムにおけるデータストリームのデータ量を低減するための外科用ロボットシステムのためのデータ量修正システムであって、前記外科用ロボットシステムが、基部、および前記基部から器具の取り付け部まで延在するアーム、を有するロボットを備え、前記アームが、複数のジョイントを備え、それによって、前記アームの構成が変更され得、前記システムが、
    前記外科用ロボットシステムによってキャプチャされたデータストリームを受信するように構成された受信器であって、前記データストリームが、外科処置に関するデータを含み、かつ第1のデータ量を有する、受信器と、
    前記外科処置におけるイベントを示す前記受信されたデータストリーム内の特徴を識別するように構成された特徴検出器と、
    前記識別された特徴に依存して、前記受信されたデータストリームを修正して、前記第1のデータ量よりも小さい第2のデータ量を有する、修正されたデータストリームを生成するように構成されたデータ修正器と、を備える、システム。
  22. 請求項1~20のいずれか一項に記載の方法を実施するように構成された外科用ロボットシステムのためのデータ量修正システム。
  23. 基部、および前記基部から器具用の取り付け部へ延在するアームを有するロボットと、請求項1~20のいずれか一項に記載の方法を実施するように構成されたデータ量修正システムと、を備える、外科用ロボットシステム。
  24. コンピュータシステムで実行されると、前記コンピュータシステムに、請求項1~20のいずれか一項に記載の方法を実施させるコンピュータ可読命令を記憶している非一時的コンピュータ可読記憶媒体。
JP2022500997A 2019-07-11 2020-07-10 外科用ロボットシステムからのデータの修正 Active JP7412528B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1909992.8 2019-07-11
GB1909992.8A GB2585691B (en) 2019-07-11 2019-07-11 Anonymising robotic data
GB2002390.9A GB2585733A (en) 2019-07-11 2020-02-20 Modifying data from a surgical robotic system
GB2002390.9 2020-02-20
PCT/GB2020/051677 WO2021005380A1 (en) 2019-07-11 2020-07-10 Modifying data from a surgical robotic system

Publications (2)

Publication Number Publication Date
JP2022540169A true JP2022540169A (ja) 2022-09-14
JP7412528B2 JP7412528B2 (ja) 2024-01-12

Family

ID=67700227

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2022500997A Active JP7412528B2 (ja) 2019-07-11 2020-07-10 外科用ロボットシステムからのデータの修正
JP2022500999A Pending JP2022540465A (ja) 2019-07-11 2020-07-10 ロボットデータの匿名化
JP2023171684A Pending JP2024016845A (ja) 2019-07-11 2023-10-02 ロボットデータの匿名化

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022500999A Pending JP2022540465A (ja) 2019-07-11 2020-07-10 ロボットデータの匿名化
JP2023171684A Pending JP2024016845A (ja) 2019-07-11 2023-10-02 ロボットデータの匿名化

Country Status (9)

Country Link
US (2) US20220286687A1 (ja)
EP (2) EP3997604A1 (ja)
JP (3) JP7412528B2 (ja)
CN (2) CN114096210A (ja)
AU (3) AU2020311031A1 (ja)
BR (2) BR112022000475A2 (ja)
CL (2) CL2022000077A1 (ja)
GB (2) GB2585691B (ja)
WO (2) WO2021005381A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210088914A (ko) * 2020-01-07 2021-07-15 엘지전자 주식회사 공간 맵 정보 생성 방법 및 생성된 공간을 이동하는 이동로봇
US11730491B2 (en) * 2020-08-10 2023-08-22 Kunnskap Medical, LLC Endoscopic image analysis and control component of an endoscopic system
DE102021107075A1 (de) * 2021-03-22 2022-09-22 Olympus Winter & Ibe Gmbh Verfahren, System und Softwareprogrammprodukt zum Erstellen von Trainingsdaten für endoskopische Anwendungen
WO2023278965A1 (en) * 2021-06-28 2023-01-05 Intuitive Surgical Operations, Inc. Protection of personally identifiable content in a video stream generated by an imaging device during a medical procedure
US20230181263A1 (en) * 2021-12-13 2023-06-15 Genesis Medtech (USA) Inc. Dynamic 3d scanning robotic laparoscope
WO2023166981A1 (ja) * 2022-03-03 2023-09-07 ソニーグループ株式会社 情報処理装置、情報処理端末、情報処理方法、およびプログラム
NL2031478B1 (en) * 2022-04-01 2023-10-25 Deo N V Method for anonymizing an audio data stream
US20230315905A1 (en) * 2022-04-04 2023-10-05 Digital Surgery Limited De-identifying data obtained from microphones
US20230326581A1 (en) * 2022-04-11 2023-10-12 Odin Vision Real time cloud image processing for endoscopy analysis

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135344A (ja) * 2003-10-31 2005-05-26 Toshiba Corp 医療情報システム
JP2014166298A (ja) * 2013-01-31 2014-09-11 Olympus Corp 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP2015532040A (ja) * 2012-08-15 2015-11-05 インテュイティブ サージカル オペレーションズ, インコーポレイテッド ビデオストリーミングのための方法及びシステム
US20170249432A1 (en) * 2014-09-23 2017-08-31 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
JP2018047088A (ja) * 2016-09-23 2018-03-29 ソニー株式会社 制御装置、制御方法及び医療用システム
US20180271615A1 (en) * 2017-03-21 2018-09-27 Amit Mahadik Methods and systems to automate surgical interventions
KR20190000107A (ko) * 2017-06-22 2019-01-02 주식회사 엠티이지 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치
WO2019133059A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Spatial awareness of surgical hubs in operating rooms

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8462681B2 (en) * 2009-01-15 2013-06-11 The Trustees Of Stevens Institute Of Technology Method and apparatus for adaptive transmission of sensor data with latency controls
US8934003B2 (en) * 2010-01-08 2015-01-13 Koninklijkle Philips N.V. Uncalibrated visual servoing using real-time velocity optimization
US20140287393A1 (en) * 2010-11-04 2014-09-25 The Johns Hopkins University System and method for the evaluation of or improvement of minimally invasive surgery skills
US11120896B2 (en) * 2012-12-28 2021-09-14 Philips Image Guided Therapy Corporation Multi-modality anonymizing system and method
AU2015227341B2 (en) * 2014-03-04 2019-07-18 Black Diamond Video, Inc Converter device and system including converter device
US11322248B2 (en) * 2015-03-26 2022-05-03 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium for event and error prediction
US11659023B2 (en) * 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11202570B2 (en) * 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11132462B2 (en) * 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11576677B2 (en) * 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
CN109063506B (zh) * 2018-07-09 2021-07-06 江苏达实久信数字医疗科技有限公司 用于医疗手术示教系统的隐私处理方法
JP7325173B2 (ja) * 2018-10-06 2023-08-14 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム
US11080424B2 (en) * 2019-05-21 2021-08-03 Verb Surgical Inc. Method and system for anonymizing raw surgical procedure videos
US11069036B1 (en) * 2020-01-03 2021-07-20 GE Precision Healthcare LLC Method and system for real-time and offline de-identification of facial regions from regular and occluded color video streams obtained during diagnostic medical procedures
WO2023278965A1 (en) * 2021-06-28 2023-01-05 Intuitive Surgical Operations, Inc. Protection of personally identifiable content in a video stream generated by an imaging device during a medical procedure

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135344A (ja) * 2003-10-31 2005-05-26 Toshiba Corp 医療情報システム
JP2015532040A (ja) * 2012-08-15 2015-11-05 インテュイティブ サージカル オペレーションズ, インコーポレイテッド ビデオストリーミングのための方法及びシステム
JP2014166298A (ja) * 2013-01-31 2014-09-11 Olympus Corp 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
US20170249432A1 (en) * 2014-09-23 2017-08-31 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
JP2018047088A (ja) * 2016-09-23 2018-03-29 ソニー株式会社 制御装置、制御方法及び医療用システム
US20180271615A1 (en) * 2017-03-21 2018-09-27 Amit Mahadik Methods and systems to automate surgical interventions
KR20190000107A (ko) * 2017-06-22 2019-01-02 주식회사 엠티이지 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치
WO2019133059A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Spatial awareness of surgical hubs in operating rooms

Also Published As

Publication number Publication date
AU2020309810A1 (en) 2022-03-10
JP7412528B2 (ja) 2024-01-12
WO2021005381A1 (en) 2021-01-14
GB201909992D0 (en) 2019-08-28
EP3997603A1 (en) 2022-05-18
US20220286687A1 (en) 2022-09-08
WO2021005380A1 (en) 2021-01-14
BR112022000475A2 (pt) 2022-03-03
CN114144785A (zh) 2022-03-04
JP2024016845A (ja) 2024-02-07
CN114096210A (zh) 2022-02-25
AU2020309810B2 (en) 2024-03-21
US20210012032A1 (en) 2021-01-14
AU2024201249A1 (en) 2024-03-14
JP2022540465A (ja) 2022-09-15
EP3997604A1 (en) 2022-05-18
GB2585691A (en) 2021-01-20
GB202002390D0 (en) 2020-04-08
AU2020311031A1 (en) 2022-03-03
CL2022000076A1 (es) 2022-11-11
GB2585733A (en) 2021-01-20
CL2022000077A1 (es) 2022-11-11
BR112022000477A2 (pt) 2022-03-03
GB2585691B (en) 2024-03-20

Similar Documents

Publication Publication Date Title
JP7412528B2 (ja) 外科用ロボットシステムからのデータの修正
US11576743B2 (en) Machine-learning-based visual-haptic system for robotic surgical platforms
KR102013828B1 (ko) 수술영상을 기초로 수술시간을 예측하는 방법 및 장치
US10169535B2 (en) Annotation of endoscopic video using gesture and voice commands
AU2019354913B2 (en) Automatic endoscope video augmentation
KR20230054760A (ko) 수술 절차 아틀라스를 갖는 수술시스템의 구성
US20210015432A1 (en) Surgery support system, information processing apparatus, and program
JP2002272758A (ja) 手術支援装置
JP6876090B2 (ja) 医療システムの作動方法及び外科手術を行うための医療システム
WO2022158451A1 (ja) コンピュータプログラム、学習モデルの生成方法、及び支援装置
US20230410499A1 (en) Visibility metrics in multi-view medical activity recognition systems and methods
KR20190000107A (ko) 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치
WO2022219491A1 (en) System and method for tracking a portion of the user as a proxy for non-monitored instrument
JP2023181214A (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231226

R150 Certificate of patent or registration of utility model

Ref document number: 7412528

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150