JP2022540465A - ロボットデータの匿名化 - Google Patents

ロボットデータの匿名化 Download PDF

Info

Publication number
JP2022540465A
JP2022540465A JP2022500999A JP2022500999A JP2022540465A JP 2022540465 A JP2022540465 A JP 2022540465A JP 2022500999 A JP2022500999 A JP 2022500999A JP 2022500999 A JP2022500999 A JP 2022500999A JP 2022540465 A JP2022540465 A JP 2022540465A
Authority
JP
Japan
Prior art keywords
data
personally identifiable
data stream
anonymized
surgical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022500999A
Other languages
English (en)
Other versions
JP7550840B2 (ja
Inventor
ステーブン、ビショップ
リカルド、ミカエル、ヘンダーソン、ダ、シルバ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CMR Surgical Ltd
Original Assignee
CMR Surgical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CMR Surgical Ltd filed Critical CMR Surgical Ltd
Publication of JP2022540465A publication Critical patent/JP2022540465A/ja
Priority to JP2023171684A priority Critical patent/JP2024016845A/ja
Application granted granted Critical
Publication of JP7550840B2 publication Critical patent/JP7550840B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/35Surgical robots for telesurgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0407Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the identity of one or more communicating identities is hidden
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0407Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the identity of one or more communicating identities is hidden
    • H04L63/0421Anonymous communication, i.e. the party's identifiers are hidden from the other party or parties, e.g. using an anonymizer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0894Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/42Anonymization, e.g. involving pseudonyms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/88Medical equipments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Computer Security & Cryptography (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Bioethics (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Robotics (AREA)
  • Urology & Nephrology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Endoscopes (AREA)
  • Manipulator (AREA)

Abstract

外科用ロボットシステムにおいてデータを匿名化する方法が提供される。外科用ロボットシステムは、基部、および基部から器具の取り付け部まで延在するアームを有するロボットを備え、アームは、複数のジョイントを備え、それによって、アームの構成が変更され得る。方法は、外科用ロボットシステムによってキャプチャされたデータストリームを受信することであって、データストリームが、外科処置に関連するデータを含み、かつ個人識別可能データを含む、受信することと、受信されたデータストリーム内の1つ以上の個人識別可能特徴を判定することと、判定された個人識別可能特徴および受信されたデータストリームに依存して、個人識別可能データを省略する、匿名化されたデータストリームを生成することと、を含む。

Description

本発明は、外科用ロボットシステムによって実施される外科処置中に、外科用ロボットシステムによってキャプチャされる患者データを匿名化することに関する。
手術を補助および実施するためにロボットを使用することが知られている。図1は、基部108およびアーム102からなる、典型的な外科用ロボット100を例示する。器具105は、アームに結合される。基部は、ロボットを支持し、それ自体が、例えば、手術室の床、手術室の天井、またはトロリーに堅固に取り付けられている。アームは、基部と器具との間に延在する。アームは、その長さに沿って、外科用器具を患者に対して所望の場所に位置特定するために使用される複数の可撓性関節103によって関節式に連結されている。外科用器具は、ロボットアームの遠位端104に取り付けられる。外科用器具は、外科手術部位にアクセスするように、ポート107で患者101の身体を貫通する。例示されるように、その遠位端において、器具は、医療的手技で係合するためのエンドエフェクタ106を含む。「器具」という用語は、外科手術部位を撮像するための内視鏡を包含する。
外科用ロボット100は、図2に示されるオペレータコンソール200を介して、オペレータ(例えば、外科医)によって遠隔制御される。オペレータコンソール200は、外科用ロボット100と同じ部屋(例えば、手術室)内、またはそこから遠隔に位置してもよい。オペレータコンソール200は、アーム102および/またはそれに取り付けられた器具105の状態を制御するための入力装置202、204を含む。入力装置202、204は、ハンドグリップ、または平行グラムリンケージに装着されたハンドコントローラであってもよい。制御システムは、ハンドコントローラの移動を制御信号に変換して、外科用ルートのアームジョイントおよび/または器具エンドエフェクタを移動させる。オペレータコンソール200はまた、ディスプレイ206を含む。ディスプレイ206は、入力装置202、204を操作するユーザに対して可視的であるように配設される。ディスプレイは、外科手術部位のビデオストリーム(例えば、内視鏡ビデオ)を表示するために使用される。
いくつかの外科処置は、いくつかの外科用ロボットを必要とする場合があり、各々が、外科手術部位で他のものと同時に使用される器具または他の器具を担持する。図3は、患者308上の共通のワークスペースで動作する複数のロボット302、304、306を有する外科用ロボットシステム300を例示している。例えば、外科用ロボットは、内視鏡外科手術(例えば、腹腔鏡手術)でしばしば使用され、これはまた、低侵襲性手術と呼ばれ得る。当業者に既知であるように、外科医は、内視鏡手技中に、口または鼻孔などであるがこれに限定されない、身体の小さな切開または自然な開口部を通して内視鏡を挿入する。内視鏡は、外科医が、同じ切開/開口部を通して、または異なる切開/開口部を通して、自身のツールを誘導するのを助けるために使用される、ビデオモニタ(例えば、ディスプレイ206)にリアルタイム画像を送信する、取り付けられたカメラを有する剛直または可撓性の管である。内視鏡は、外科医が、関連エリアを切開して露出させることを必要とせずに、身体の関連エリアを詳細に視認することを可能にする。この技術は、外科医が、患者の体内を見ること、および従来の切開手術に別途必要とされるよりもはるかに小さい切開部を通して手術することを可能にする。したがって、典型的なロボット内視鏡外科手術では、1つの外科用ロボットアーム、および1つ以上の他の外科用ロボットアームに取り付けられた、一対のピンサおよび/またはメスなどの、1つ以上の他の外科用器具に取り付けられた内視鏡が存在する。
図4は、低侵襲性手術で使用するためにロボットアームの端に取り付け可能である例示的な内視鏡400を例示する。内視鏡400は、患者の外科手術部位への挿入のための遠位端402と、近位端404と、を有する。遠位端402は、細長いシャフト406によって近位端404に接続されている。近位端404は、ロボットアームの端部と係合するためのインターフェース408を含む。内視鏡400は、外科手術部位を照射するための電源および光源を有する。内視鏡400はまた、外科手術部位から画像データを抽出するためのデータラインを有する。これらは、すべて、図4に示されるように、ロボットアームから独立して外部に、内視鏡400の近位端404に取り付けられ得る。図4では、ステム412を通じて電力が印加され、ステム412を通じて画像データが抽出され、光源ステム410を通じて光が印加される。代替的な実装形態では、光入力、電力入力、およびデータ出力のうちのいずれか1つ以上を、ロボットアームを通して内視鏡に加えられ得る/抽出され得る。内視鏡400は、ロボットアームの端部に装着される。内視鏡インターフェース408は、ロボットアームの相補的インターフェースと係合する。内視鏡400は、ロボットアームおよび内視鏡インターフェースを介して、ロボットアームに取り付け可能であり、ロボットアームから取り外し可能である。一部の場合に、内視鏡400は、ロボットアームから独立してその取り外された状態で動作可能である。言い換えれば、これらの場合、内視鏡400は、ロボットアームから取り外されたときに、手術室スタッフのメンバーによって手動で操作することができる。
手術中に使用される内視鏡によってキャプチャされる画像(本明細書では、まとめて内視鏡ビデオと称され得る)に加えて、内視鏡によってキャプチャされる画像は、記録され、その後、限定されるものではないが、外科処置の学習および/または教育、ならびに外科医のパフォーマンスの評価および/またはレビュー(第三者または外科医自身による)などの様々な目的のために使用され得る。
内視鏡ビデオに加えて、ロボットシステムからのテレメトリ、ロボットシステムの状態に関するデータ、ならびに手術室および/または制御コンソールに隣接する音声がキャプチャされ得る。そのようなキャプチャされたデータは、学習および/または教育の目的で処置をレビューするのを支援するために、別個にまたは組み合わせて使用され得る。そのようなキャプチャされたデータは、患者を含む、処置に関与する者を識別するデータを含み得る。キャプチャされたデータで識別された者のプライバシーに悪影響を与えることなく、匿名化されたデータが教育、業績評価/レビューなどのためにより広く使用され得るように、そのようなキャプチャされたデータを匿名化することができることが有用である。
この概要は、以下で詳細な説明でさらに記述される概念の選択を紹介するために提供される。この概要は、特許請求された主題の主要な特徴または必須の特徴を識別することを意図しておらず、特許請求された主題の範囲を制限するために使用することも意図していない。
本発明の別の態様によれば、外科用ロボットシステムにおいてデータを匿名化する方法が提供され、外科用ロボットシステムが、基部、および基部から器具の取り付け部まで延在するアーム、を有するロボットを備え、アームが、複数のジョイントを備え、それによって、アームの構成が変更され得、方法が、
外科用ロボットシステムによってキャプチャされたデータストリームを受信することであって、データストリームが、外科処置に関するデータを含み、かつ個人識別可能データを含む、受信することと、
受信されたデータストリーム内の1つ以上の個人識別可能特徴を判定することと、
判定された個人識別可能特徴および受信されたデータストリームに依存して、個人識別可能データを省略する匿名化されたデータストリームを生成することと、を含む。
データストリームは、データチャネルグループからの1つ以上のデータチャネルを含み、データチャネルグループが、
外科用ロボットシステムに連結された内視鏡から受信されたビデオデータと、
外科処置に関して記録された音声データと、
外科用ロボットシステムに対応するテレマティクスデータと、
外科用ロボットシステムの少なくとも一部分の状態を含む状態データと、含む。
個人識別可能特徴は、1つ以上のデータチャネルに依存して判定され得る。個人識別可能特徴は、データチャネルグループの第1のデータチャネルに依存して判定され得、匿名化されたデータストリームを生成することは、データチャネルグループの第2のデータチャネルを修正することを含む。個人識別可能特徴は、データチャネルグループの第1のデータチャネルに依存して判定され得、匿名化されたデータストリームを生成することは、第1のデータチャネルを修正することを含む。
匿名化されたデータストリームを生成することは、判定された個人識別可能特徴に依存して、受信されたデータストリームからデータ部分を除去することであって、除去されたデータ部分が、個人識別可能データを含む、除去することと、受信されたデータストリームからデータ部分をマスクすることであって、マスクされたデータ部分が、個人識別可能データを含む、マスクすることと、のうちの1つ以上を含み得る。データ部分をマスクすることは、データ部分をぼかすことと、データ部分内のデータの値をマスク値で置換することと、のうちの1つ以上を含み得る。データ部分は、データの1つ以上の部分フレームを含み得る。データ部分は、データの1つ以上のフレームを含み得る。個人識別可能特徴を判定することは、個人識別可能特徴が関連するデータの部分フレームを判定することを含み得る。
匿名化されたデータストリームを生成することは、受信されたデータストリームのサブセットを保存することを含み得る。個人識別可能特徴は、器具の取り付け状態、アームに取り付けられた器具の動作状態、ロボットの動作状態、アームおよび/またはアームに取り付けられた器具の構成、ならびに制御コンソールの制御状態のうちの1つ以上に依存して判定され得る。
個人識別可能特徴は、器具センサから受信された器具センサ信号であって、器具センサが、外科手術部位へのアクセスを提供するポートを通過する器具を検出するように構成されている、器具センサ信号と、ビデオデータが拡大または縮小する円を含むか否かと、ビデオデータがポート識別特徴を含むか否かと、ビデオデータが顔の画像を含むか否かと、画像ホワイトバランスの尺度と、画像スペクトルの尺度と、中心から縁までの画像勾配の尺度と、実施されている処置と、複数の既知の個人識別可能特徴を使用して訓練された機械学習アルゴリズムと、のうちの1つ以上に依存して判定され得る。
匿名化されたデータストリームは、外科処置が実施されている際に生成され得る。匿名化されたデータストリームを生成することは、ある期間の間にデータ部分を修正することを含み得、個人識別可能特徴が判定される前と、個人識別可能特徴が判定された後と、個人識別可能特徴が判定される前および判定された後の両方と、2つの個人識別可能特徴の間と、のうちの1つである。
受信されたデータストリームが、データチャネルグループからの2つ以上のデータチャネルを含み得、方法が、データチャネルのうちの少なくとも2つに関してデータ部分を別個に修正することによって、匿名化されたデータストリームを生成することを含み得る。
方法は、リアルタイムまたは実質的にリアルタイムに、匿名化されたデータストリームを生成することと、遠隔プロセッサに匿名化されたデータストリームを送信して、それによって、遠隔プロセッサが、匿名化されたデータストリームのリアルタイムまたは実質的にリアルタイムの分析を実施することを可能にすることと、遠隔プロセッサから、外科用ロボットシステムのオペレータを支援するための分析の結果をリアルタイムまたは実質的にリアルタイムに受信することと、を含み得る。
本発明の別の態様によれば、外科用ロボットシステムからのデータを匿名化するための外科用ロボットシステムのためのデータアノニマイザシステムが提供され、外科用ロボットシステムが、基部、および基部から器具の取り付け部まで延在するアーム、を有するロボットを備え、アームが、複数のジョイントを備え、それによって、アームの構成が変更され得、データアノニマイザシステムは、
外科用ロボットシステムによってキャプチャされたデータストリームを受信するように構成された受信器であって、データストリームが、外科処置に関するデータを含み、かつ個人識別可能データを含む、受信器と、
受信データストリーム内の1つ以上の個人識別可能特徴を判定するように構成された、個人識別可能特徴検出器と、
判定された個人識別可能特徴および受信されたデータストリームに依存して、個人識別可能データを省略する、匿名化されたデータストリームを生成するように構成されたデータアノニマイザと、を備える。
データストリームは、データチャネルグループからの1つ以上のデータチャネルを含み得、データチャネルグループは、外科用ロボットシステムに連結された内視鏡から受信されたビデオデータと、外科処置に関して記録された音声データと、外科用ロボットシステムに対応するテレマティクスデータと、外科用ロボットシステムの少なくとも一部分の状態を含む状態データと、を含む。個人識別可能特徴検出器が、データチャネルグループの第1のデータチャネルに依存して個人識別可能特徴を判定するように構成され得、データアノニマイザが、データチャネルグループの第2のデータチャネルを修正することによって、匿名化されたデータストリームを生成するように構成され得る。
データアノニマイザは、受信されたデータストリームからデータ部分を除去することであって、除去されたデータ部分が、個人識別可能データを含む、除去することと、受信されたデータストリームからデータ部分をマスクすることであって、マスクされたデータ部分が、個人識別可能データを含む、マスクすることと、のうちの1つ以上によって、匿名化されたデータストリームを生成するように構成され得る。受信されたデータストリームが、データチャネルグループからの2つ以上のデータチャネルを含み得、データアノニマイザが、データチャネルのうちの少なくとも2つに関してデータ部分を別個に修正することによって、匿名化されたデータストリームを生成するように構成され得る。
本発明の別の態様によれば、本明細書に記載の方法を実施するように構成されたロボットシステムのためのデータアノニマイザが提供される。
本発明の別の態様によれば、基部、および基部から器具の取り付け部まで延在するアーム、を有するロボットを含む、ロボットシステムと、本明細書に説明される方法によってデータを匿名化するために構成されたデータアノニマイザと、が提供される。
本発明の別の態様によると、非一時的コンピュータ可読記憶媒体であって、そこに記憶されているコンピュータ可読命令が、コンピュータシステムで実行されると、コンピュータシステムに、本明細書に説明される方法を実施させる、非一時的コンピュータ可読記憶媒体が提供される。
上の任意の態様のいずれかの特徴を、上の任意の態様のいずれか1つ以上の他の特徴と組み合わせることができる。任意の方法の特徴を、装置の特徴として書き変えることができ、逆もまた同様である。
ここで、添付図面を参照して、本発明を例として説明する。
図は、以下のとおりである。
例示的な外科処置を実施する例示的な外科用ロボットを概略的に例示する。 例示的なオペレータコンソールを概略的に例示する。 複数の外科用ロボットを有する例示的な外科用ロボットシステムを概略的に例示する。 外科用ロボットアームに取り付け可能である例示的な内視鏡を概略的に例示する。 例示的なデータアノニマイザシステムのブロック図である。 例示的な外科用ロボットシステムを概略的に例示する。 データストリームを匿名化する例示的な方法のブロック図である。 例示的なコンピューティングベースの装置のブロック図である。
以下の説明は、当業者が本発明を作製および使用することができるようにするための実施例として提示されている。本発明は、本明細書に記載される実施形態に限定されないが、開示される実施形態に対する様々な修正は、当業者には明らかであろう。実施形態は、例としてのみ説明されている。
外科処置中にキャプチャされるビデオデータなどのデータは、患者の顔もしくは他の識別可能な解剖学的構造の画像、または手術室内の患者情報シートもしくはホワイトボードに記述され得る患者名の画像などの、患者を識別し得る情報を含み得る。患者のプライバシーおよび関連する倫理的配慮は、病院にとって大きな懸念であり、これは、キャプチャされたデータが使用され得るやり方を制限する。キャプチャされたデータを匿名化することは、患者のプライバシーを保証するために設けられた制限が、匿名化されたデータには適用されないことを意味する(患者のプライバシーが、匿名化によって提供されることになるため)。したがって、例えば、他の病院の者を含む、外科処置を実施したチーム以外の者に対する教育および訓練サービスを提供する際に、匿名化されたデータをより広く使用され得る。
本明細書では、外科用ロボットシステム内のデータを匿名化するための方法および装置が説明される。外科用ロボットシステムによってキャプチャされたデータ、例えば、処置が実施される際にシステムによって生成および/または記録されたデータは、データアノニマイザシステムによって受信され得る。データアノニマイザシステムは、外科用ロボットシステムの一部であってもよく、または別個に提供されてもよい。データアノニマイザシステムの検出器は、例えば、そのような特徴が存在すること、およびその特徴が検出されたデータ内の場所またはタイミングを判定するために、受信されたデータ内の個人識別可能特徴を判定するために使用される。次いで、データアノニマイザが、受信されたデータおよび検出された特徴を使用して匿名化されたデータを生成するために使用される。匿名化されたデータは、個人識別可能データを省略する、受信されたデータのコピーを含み得る、および/または個人識別可能データが除去されるか、もしくは別様に不明瞭化される、受信されたデータの修正されたバージョンを含み得る。
まず、外科用ロボットシステム502によって実施される外科処置に関連するデータを自動的に匿名化するための例示的なデータアノニマイザシステム500を例示する、図5を参照する。外科用ロボットシステムは、基部、および基部から器具の取り付け部まで延在するアームを有する、少なくとも1つの外科用ロボットを含む。アームは、複数のジョイントを備え、それによって、アームの構成が変更され得る。例示的な外科用ロボットシステム502は、図6を参照して以下に説明される。
データアノニマイザシステム500は、受信器504、検出器506、およびデータアノニマイザ508を備える。受信器504、検出器506およびデータアノニマイザのうちの1つ以上は、限定されるものではないが、図8を参照して本明細書に説明される例示的なコンピューティングベースの装置などの、1つ以上のコンピューティングベースの装置によって実装され得る。受信器504は、外科処置に関連するデータを含むデータストリームを受信するように構成されている。受信器は、受信されたデータストリームを検出器506に渡し、検出器506は、データ内の個人識別可能特徴を判定するように構成されている。データアノニマイザ508は、判定された特徴およびデータストリームに依存して、個人識別可能データを含まない、匿名化されたデータストリームを生成するように構成されている。匿名化されたデータの生成は、以下でより詳細に説明される。
受信器によって受信されたデータストリームは、内視鏡ビデオデータ、すなわち、内視鏡510によるビデオまたは画像キャプチャを含み得る。受信器504は、例えば、ローカルネットワーク512を介して、内視鏡からビデオデータを受信するように構成されている。ローカルネットワークは、HDMIインターフェース、SDIインターフェース、および他のビデオインターフェースのうちの1つ以上を含み得る。いくつかの場合、受信器は、HDMIインターフェース、SDIインターフェース、および他のビデオインターフェースのうちの1つ以上を含み得る、直接カップリングを介して、内視鏡からビデオデータを受信するように構成され得る。ローカルネットワーク512は、好適に病院施設内にあるため、このローカルネットワークを介して個人識別可能データを送信することに制限が存在しない。このビデオデータは、外科手術部位に向かってポートを通して内視鏡先端が挿入される前に内視鏡によってキャプチャされる、手術室自体のビデオまたは画像を含む可能性が高い。(用語「ポート」は、本明細書の他の箇所に説明されるように、物理ポートおよび/または仮想ポートを含むとみなされ得る。)アームに連結されている間の内視鏡の視野は、機密データをキャプチャすることを回避するために、十分に特徴付けられ、潜在的に制御され得る。一方で、内視鏡は、動作可能である可能性が高く、すなわち、手で保持され、ロボットアームに装着されている間に、ビデオをキャプチャする可能性が高い。手で保持されている間、視野は、ほとんど既知ではなく、それゆえに、不注意で個人識別可能情報を含む可能性がある。ビデオデータは、患者の顔または手術室スタッフの顔の画像またはビデオを含み得る。患者の詳細が手術室に書き留められる場合、ビデオデータはまた、これらの詳細のビデオを含み得る。したがって、ビデオデータは、外科処置を受ける患者の1つ以上および手術室スタッフのメンバーに関連する、個人識別可能データを含む可能性が高い。
データストリームはまた、外科用ロボットシステム502の一部を任意選択的に形成するマイクロフォン514によってキャプチャされた音声データを含み得る。マイクロフォンは、ロボットアームに、もしくはそれに隣接して、および/または外科用ロボットシステムの制御コンソール516に、もしくはそれに隣接して位置し得る。このようにして、マイクロフォンは、外科処置を支援する手術室スタッフから、および外科医などの制御コンソールのオペレータからを含む、外科処置からの音声をキャプチャし得る。音声データは、患者の議論を含み得、したがって、個人識別可能データを含むことになる。受信器504は、例えば、ローカルネットワーク512を介して、マイクロフォンから音声データを受信するように構成されている。
データストリームはまた、テレメトリ/テレマティクスデータおよび/または状態データを含み得る。状態データは、外科用ロボットシステムの少なくとも一部分の状態を示し得る。テレマティクスデータおよび/または状態データは、ロボットのアーム518の制御に影響を与えるため、制御コンソール516によって生成され得る。テレマティクスデータおよび/または状態データは、アームジョイントの各々の構成を感知するように構成されているアームのジョイントセンサ520などのアーム自体上のセンサによって生成され得る。テレマティクスデータおよび/または状態データが、個人識別可能データを含み得ることはおそらく自明ではないが、アームが移動および/または位置するやり方に関して、アームが使用されて処置を実施する患者、またはアームを動作させる外科医を識別することができる。これは、特に、そのようなデータが、ビデオおよび/または音声データなどの処置に関連する他のデータと一緒に取り込まれる場合であり得る。受信器504は、例えば、ローカルネットワーク512を介して、外科用ロボットシステムから(例えば、制御コンソールおよび/またはアームから)、テレマティクスデータおよび/または状態データを受信するように構成されている。
ビデオデータ、音声データ、テレマティクスデータ、および状態データの各々は、システムによってキャプチャされた処置に関連するデータの別個のデータチャネルであるとみなされ得る。データチャネルは、好適に互いに時間同期される。データチャネルは、1つのデータチャネルの特徴またはイベントが、特定の時間もしくは期間、および/または別のデータチャネル内の特定の特徴もしくはイベントに相関されることを可能にする、任意の好適な様式で時間同期され得る。例えば、複数のデータチャネルは、共通のタイムスタンプまたは共通のタイムラインを含み得るか、またはそれらにリンクされ得る。
ビデオデータは、外科用ロボットシステム502自体(例えば、内視鏡510によってキャプチャされたビデオまたは画像)によって生成され得る。ビデオデータはまた、外科用ロボットシステム502の一部である必要はないが、そうであり得る、手術室内のカメラ522によってキャプチャされ得る。カメラは、外科手術部位の外部、外科用ロボットシステム、および/または手術室スタッフの動作および相互作用のビューをキャプチャするために使用され得る。いくつかのシナリオでは、そのようなカメラの視野は、患者の顔、すなわち、個人識別可能データを含むことになる。いくつかの場合、カメラによってキャプチャされたそのようなビデオデータもまた、本技術を使用して匿名化され得る。例えば、カメラによってキャプチャされるビデオデータは、データチャネルのうちの1つと時間同期され得、1つ以上のデータチャネルにおける個人識別可能特徴の検出に依存して匿名化され得る。
テレマティクスデータおよび/または状態データのすべてまたは一部分(例えば、外科用ロボットアーム、それに取り付けられた器具、およびロボットアームの移動を制御する任意のハンドコントローラの位置および/または移動に関連するデータ)は、外科用ロボットシステム502自体によって生成されてもよい。カメラ522の視野がアームの少なくとも一部分を含む場合、カメラからのビデオデータは、アームのテレマティクス/状態データを取得または推定するために使用され得る(例えば、カメラによって生成されたビデオを分析することによって)。このようにして、外科処置に関連するデータストリームの少なくとも一部分は、1つ以上の外部ソースによって生成され得る。
受信器504は、任意の好適な手段を介して外科処置に関連するデータストリームを受信し得る。例えば、いくつかの場合、外科用ロボットシステム502および/またはカメラ522は、限定されるものではないが、イーサネット接続、Wi-Fi(登録商標)接続、Bluetooth(登録商標)接続、近距離通信(NFC)接続、HDMI接続、SDI接続、他のビデオインターフェース接続などの、無線または有線通信接続512を介して、データを受信器504に提供し得る。これらの例では、状態データのすべてまたは一部分は、外科処置が実施されている間に、リアルタイム(または実質的にリアルタイム)に受信器504に提供され得る。
他の場合、処置に関するデータは、処置中に別の装置(例えば、コンピューティングベースの装置)によってキャプチャされ、記憶装置524(例えば、メモリ)に記憶され、その後、通信接続512を介して、または任意の他の好適な手段を介して、受信器504に提供され得る。いくつかの場合、データのすべてまたは一部分は、処置が実施される場所で、限定されるものではないが、USB(ユニバーサルシリアルバス)メモリスティックまたはSDカードなどのポータブル記憶媒体上に記憶され得、受信器504がポータブル記憶媒体からデータを読み出し得るように受信器504に連結されている受信器504の場所に物理的に移送され得る。
検出器506は、データストリームが、データストリーム内の個人識別可能データの存在を示し得る、個人識別可能特徴を備えるか否かを検出するように構成されている。個人識別可能特徴が検出されたとき、検出器は、個人識別可能データを含むデータストリームの一部分を判定し得る。この検出は、いくつかのやり方のうちの1つで行われ得る。第1のアプローチは、個人識別可能データが存在している(または存在し得る)データストリームの一部分を識別すること、およびその部分が除去され得る(または保存/転送されない)ように、その部分をフラグ付けまたはマークすることである。このアプローチは、(例えば)顔が可視である、そのデータの一部分を識別するために、内視鏡ビデオデータ上で画像分析を実施することを伴い得る。その部分は、匿名化されたビデオデータから除去され得、手術室または手術からの他のビデオを含み得る、ビデオデータの残部を保持する。
第2のアプローチは、個人識別可能データが存在しない(または個人識別可能データが存在する可能性が極めて低い)データストリームの一部分を識別すること、およびかかる部分を、保存/転送されるのに「安全」としてフラグ付けまたはマークすることである。例として、内視鏡ビデオを考慮する。内視鏡がロボットアームに取り付けられると、ポートを通して挿入される前に、手術室のビデオ(すなわち、手術野の外側からのビデオ)をキャプチャすることになる。このビデオは、患者の顔などの個人識別可能データを含み得る。内視鏡がポートを通して挿入されると、内部外科手術部位のビデオ(すなわち、手術野の内側からのビデオ)をキャプチャすることになり、個人識別可能データを含む可能性は極めて低い。これは、個人識別可能データを潜在的に含む、手術室のビデオを再びキャプチャし始めることになるときに、内視鏡がポートから退避されるまで(ビデオが手術野の内側にある状態から手術野の外側にある状態に遷移することになるとき)、そのケースのままになる。それゆえに、「安全」データは、ポートを通した内視鏡の挿入と、ポートからの内視鏡の退避との間でキャプチャされたビデオ、すなわち、標的手術野のビデオを含み得、好適には他には何も含まない。したがって、このアプローチは、いつ内視鏡がポートを通して挿入されるか、およびいつそれがポートから退避されるかを判定することと、これらの識別された時間の間、すなわち、内視鏡がポートを通して挿入されていないときにキャプチャされたビデオデータの任意の部分を除去または別様に匿名化することと、を伴い得る。
当然のことながら、第1および第2のアプローチの組み合わせが使用され得ることが理解されるであろう。
データストリーム内の個人識別可能特徴を判定することに応答して、検出器506は、出力を生成するように構成され得、出力は、
・個人識別可能特徴が検出されたことと、
・検出された特徴のタイプと、
・特徴の時点(すなわち、特徴が発生した時点)と、
・特徴が関連するデータストリームの一部分(例えば、静止画像もしくはビデオ画像の一部、または一連の画像の連続部、またはより一般的には、データチャネルのうち、特徴を含むものなど)と、
・特徴の持続時間と、のうちの1つ以上を示す。
出力は、データアノニマイザ508に提供される。
データアノニマイザは、検出器から出力を受信し、かつ、例えば、受信器から、任意の好適な手段を介してデータストリームを受信するように構成されている。データアノニマイザはまた、ローカルネットワーク512を介してデータストリームを受信するように構成され得る。データアノニマイザは、受信されたデータストリームおよび判定された個人識別可能データに基づいて、匿名化されたデータストリームを生成するように構成されている。匿名化されたデータは、ローカルまたは遠隔ストレージ、例えば、記憶装置524に保存され得る。匿名化されたデータは、インターネットなどの遠隔ネットワーク526を介して送信され得る。匿名化されたデータは、有線リンクを介して、または無線接続を介して、遠隔ネットワークに接続するローカルアクセスポイントへなどの、任意の好適な方法によって送信され得る。
匿名化されたデータは、個人識別可能特徴によって識別されるデータを、個人識別可能データを含む(または潜在的に含む)ものとして省略することによって、データアノニマイザ508によって生成される。そのようなデータは、いくつかのやり方で省略され得る。個人データが省略され得る1つのやり方は、個人データを含むと識別されるそれらの一部を除いて、受信されたデータストリームの一部を保存するデータアノニマイザによる。このようにして、個人データを含む受信されたデータストリームの一部が、受信されたデータストリームから除去され得る。したがって、個人識別可能情報を含むデータの一部分をフラグ付けする、上記の第1のアプローチをとると、フラグ付けされた部分は、データストリームの残部を保存/転送している間、データストリームから除去され得る。上記の第2のアプローチをとると、安全としてフラグ付けされたデータは、データストリームの残部が破棄されている間に保存/転送され得るか、または保存/転送されなくてもよい。
個人データが省略され得る別のやり方は、個人データに対応するデータの一部分をぼかすか、または別様にマスクするデータアノニマイザによる。例えば、顔がビデオシーケンスで識別される場合、顔が識別されるシーケンスの各フレームは、データから除去され得る。あるいは、顔として識別される画像の一部は、データのフレームの残部を保持しながら、顔を不明瞭化するようにぼやけさせるか、またはマスクされ得る。これは、プライバシーを保護するために必要とされるよりも多い情報を破棄しないという利点を有する。適用され得るマスクの例は、ガウスぼかしマスク、定数値マスク(画像の一部の上にカラーブロックを適用する効果を有し得、例えば、顔の画素が黒い画素で置換され得る)、およびランダム値マスク(不明瞭化される画像の一部にランダムな画素値を適用する効果を有し得る)を含む。マスクの別の例は、ビデオ内の現実の顔をマスクするためにフォトリアリスティックな顔を得るために使用され得る、敵対的生成ネットワーク(GAN)に依存して生成されたものである。GANから取得されたフォトリアリスティックな顔は、多くの現実の顔で訓練されたシステムによって生成され得る。データ部分をマスクするさらなる例は、データ部分をダウンサンプリングすることを含む。ダウンサンプリングは、データ部分の解像度を減少させる効果を有し得、これは、オリジナルデータを「マスク」し得る。
同様に、個人識別可能特徴がオーディオデータチャネルで検出される場合、データアノニマイザは、受信されたオーディオデータの一部分を、例えば、ホワイトノイズまたはシングルトーンで置換するか、または匿名化されたデータを生成するときにオーディオデータのその部分を除去するように構成され得る。
データアノニマイザシステム500は、外科用ロボットシステム502から遠隔であってもよい。例えば、外科用ロボットシステム502は、手術室内に位置し得、データアノニマイザシステム500は、病院または治療センター内の別の部屋にあり得る。他の場合、データアノニマイザシステムは、例えば、制御コンソールにおいて、外科用ロボットシステムと統合され得る。
好適には、データアノニマイザシステム500は、データストリームをリアルタイム(または実質的にリアルタイム)に処理するように構成されている。データアノニマイザシステムは、受信されたデータストリームを一時的に記憶するためのバッファメモリなどのメモリ528を含み得る。データアノニマイザ508は、保存されたデータストリームをメモリ528から読み出し得る。データストリームをリアルタイムまたは実質的にリアルタイムに処理することは、匿名化されたデータが遠隔ネットワークを介して、同様にリアルタイム(または実質的にリアルタイム)に送信されることを可能にする。匿名化されたデータは、クラウドに位置するサーバに、例えば、サーバにおける支援モジュールに、送信され得る。支援モジュールは、匿名化されたデータを分析して、パフォーマンスまたは他の測定基準を抽出し得る、および/または分析に応答して助言または提案を生成し得る。助言は、特定の処置における次のステップに関する助言、所与のステップを最も効果的に実施する仕方、実施されている処置または実施されている処置におけるステップに関する提案などを含み得る。この助言は、遠隔サーバによって、遠隔ネットワーク526を介して、外科用ロボットシステム502に、例えば、ディスプレイ530に提供され得る。このようにして、外科用ロボットシステムを動作させる外科医は、患者に処置を実施する際に、リアルタイム(または実質的にリアルタイム)に助言/提案を受信し得る。
このようにして、データアノニマイザシステムは、外科医によって実施されている処置を強化するために、遠隔ベースの支援モジュールの使用を可能にする。いくつかの場合、匿名化されたデータは、別の外科医などの遠隔に位置する人物に送信され得る。このようにして、より経験の多い外科医は、同じ場所にいることを必要とせずに、より経験の少ない同僚に適時に助言を提案し得る。
いくつかの場合、受信器によって受信されるデータストリームは、匿名化されたデータストリームの生成と同時に、リアルタイムに外科用ロボットシステムのオペレータ(例えば、外科医)に提示される。これは、匿名化されたデータの生成における遅延の問題が、手術の性能に影響を与えることを回避するのを助け得る。
好適には、受信されたデータストリームは、それが、保存されるか、または遠隔場所、例えば、処置が実施される手術室(または病院)から遠隔の場所に転送される前に修正される。すなわち、データストリームは、それが保存されるか、または遠隔場所に転送される前に匿名化される。データストリームは、それが、記憶装置524などのローカルストレージに保存される前に修正され得る。記憶装置は、修正されていないデータストリーム、および修正された(匿名化された)データストリームの両方を記憶し得る。
好適には、外科医などの外科用ロボットシステムのオペレータ、または病院の別のスタッフのメンバーは、データまたは修正されたデータが保存および/または転送されるか否かを制御することができる。したがって、データアノニマイザシステムは、データストリームをローカルに保存する選択肢をユーザに提示し得る。データアノニマイザシステムは、ローカルまたは遠隔場所のいずれかに、匿名化されたデータストリームを保存および/または転送する選択肢をユーザに提示し得る。このようにして、外科医または病院スタッフの別のメンバーなどのユーザは、データまたは匿名化されたデータがどのように使用されるかを監視する。
データアノニマイザシステムは、データストリームおよび修正されたデータストリームの一方または両方の少なくとも一部分を暗号化するように構成された、暗号化モジュール532を含み得る。暗号化モジュールは、データアノニマイザ508において、またはその一部として提供され得る。データアノニマイザシステムは、個人識別情報を含む受信されたデータストリームのデータの一部分を暗号化することによって、匿名化されたデータを生成するように構成され得る。例えば、暗号化モジュールは、例えば、ビデオデータが後で再生されるシステムが関連フレームまたは画素を復号化することができないため、顔が認識可能ではないように、顔が検出されたビデオの各フレーム、または各関連フレーム内の検出された顔の画素のみを暗号化し得る。いくつかの事例では、暗号化モジュールは、個人識別可能情報がデータストリーム内に含まれ得る構成に対応する、受信されたデータストリームの一部分を暗号化するように構成され得る。個人識別可能情報は、データストリーム内で検出される必要はない。例えば、暗号化モジュールは、内視鏡がポートを通して挿入されていないときに、受信されたデータを暗号化するように構成され得る(例えば、受信されたデータのビデオチャネルを、任意選択的に、受信されたデータの追加データと一緒に暗号化することによってなど)。暗号化モジュールは、例えば、暗号化キーを使用することによって、任意の好適な様式でデータを暗号化し得る。
そのような匿名化されたデータ(例えば、暗号化されたデータ)は、遠隔場所に転送され得、患者のプライバシーを保全するが、対応する復号化キーの使用が、匿名化されたデータを復号化することを許容し、修正されていないデータが権限のある当事者によって検索されることを可能にすることもできる。これは、単一のデータセット、すなわち、プライバシーを保全する様式(識別データが省略される、暗号化された形態)、および完全なデータがレビューされることを可能にする様式(権限のある当事者が識別データを閲覧し得る、復号化された形態)の両方で使用され得る、暗号化された匿名化されたデータの使用を増加させる有用なやり方であり得る。そのようなアプローチは、オリジナルデータストリームおよび匿名化されたデータストリームの両方を保存する必要性を回避し得るが、関連当事者に利用可能な両方のデータ「セット」を有することの利点を提供し得る。
いくつかの場合、受信されたデータの異なるセグメントまたはチャプタが、異なるレベルの暗号化によって暗号化され得る。例えば、データストリームは、データストリームの1つ以上の特徴(またはより広くは、外科処置に関連する情報)に基づいてセグメント化され得る。このように、データストリームは、アームの構成、取り付けられた器具のタイプおよび/またはその動作状態、ロボットシステムの動作状態、処置の段階、ロボットを制御する外科医などのうちの1つ以上に従ってセグメント化され得る。処置の各段階、または段階群は、異なるアクセスレベルと関連付けられ得る。これは、データストリームのセグメントグループへのアクセスが、異なる人々のグループに選択的に提供されることを可能にし得る。したがって、暗号化モジュールは、第1のレベルの暗号化をデータストリームの第1の部分(例えば、セグメントの第1のセグメントまたはグループに対応する)に適用し、第2のレベルの暗号化をデータストリームの第2の部分(例えば、セグメントの第2のセグメントまたはグループに対応する)に適用するように構成され得る。第2のレベルの暗号化は、第1のレベルよりも高い場合があり、すなわち、第1のレベルに対する復号化は、データストリームの第1の部分のみを復号化するが、第2のレベルに対する復号化は、データストリームの第1および第2の部分の両方を復号化する。2つのレベルを超える暗号化が提供されてもよい。
データアノニマイザシステムは、受信されたデータストリームおよび匿名化されたデータストリームの一方または両方に「透かし」を追加するように構成された、透かしモジュール534を含み得る。透かしモジュールは、データアノニマイザ508において、またはその一部として提供され得る。透かしは、デジタル署名および/または指紋を含み得る。透かしは、透かしの少なくとも一部が「隠された」とみなされ得るように、データに追加され得、すなわち、透かし(または透かしの隠された部分)が追加されたことは必ずしも明白ではない。これは、透かし(または透かしの隠された部分)が第三者によって意図的に除去されるリスクを低減し得る。例えば、透かしモジュールは、データの最下位ビットにおける透かしをエンコードすること、データに関して離散的コサイン変換を行うことの一部として透かしをエンコードすること(例えば、データを圧縮するとき)、ウェーブレット変換を使用して透かしをエンコードすること、スペクトル拡散技術を使用して透かしをエンコードすること、周波数および/または時間マスキングを使用して透かしをエンコードすることなどのうちの1つ以上によって透かしを適用するように構成され得る。
透かしモジュールは、データが匿名化されたときに透かしを追加するように構成され得る。他の実施態様では、透かしモジュールは、匿名化されたデータが遠隔で転送されるときに、匿名化されたデータに透かしを追加するように構成され得る。したがって、透かしモジュールは、データ匿名化システムの一部として提供する必要はないが、別個に提供されてもよい。例えば、透かしモジュールは、匿名化されたデータが記憶されるデータストア524に連結されることなどによって、匿名化されたデータへのアクセスを有し得る。匿名化されたデータが遠隔で送信されるとき、透かしモジュールは、転送前に、その段階で透かしを追加するように構成され得る。意図される受信者および/または匿名化されたデータの意図される使用に関する詳細は、透かしに含められ得る。
透かしモジュールの提供は、データ(例えば、遠隔サーバに転送される匿名化されたデータ)が追跡および/または識別されることを可能にする。例えば、透かしは、処置が実施された病院、処置を実施した外科医/手術チーム、処置を実施するために使用されたロボットシステム(制御コンソール、ロボットアーム、および器具のうちの1つ以上の固有のシリアル番号によって識別され得る)、処置のタイプ、処置が実施された日時、データの公開を許可する責任者、公開されたデータの有効期限などのうちの1つ以上の識別を含み得る。任意の望ましいメタデータが透かしに含められ得る。透かし入りの匿名化されたデータは、それによって、処置が実施された病院に遡ることができる。したがって、匿名化されたデータのレビューにおいて、レビューの任意の結論または結果(透かしに含まれる詳細を知らなくても行われ得る)は、関連する病院/手術チームにフィードバックされ得る。
透かしは、匿名化されたデータが公開された使用の表示を含み得る。例えば、特定の処置についての匿名化されたデータは、その処置のレビューのために公開され得るが、教育のためには承認されず、これは、例えば、その処置がまだ実験的であるためである。透かしモジュールは、データがレビューのために(おそらくは、個人または病院であり得る、選択された受信者によるレビューのために)使用され得ることを示す透かし、およびデータが公開された人物/組織の詳細を追加するよう構成され得る。そのデータが後で別の個人によって使用されること、または別の使用が見出された場合、公開チャネルおよびオリジナルの承認された使用は、透かしから判定され得る。これらの目的のために、そのような情報が透かしの隠された部分に含まれており、そのため、意図的に除去されない(または除去することができない)場合、有用であり得る。
いくつかの場合、データストリームがセグメント化されている場合、異なる透かしが、異なるセグメントまたはセグメントグループに適用され得る。これは、異なる器具が使用されたため(そのため、透かしの器具IDが異なり得る)、異なる外科医が処置の一部を実施したため(そのため、透かしの外科医IDが異なり得る)、セグメントが別のセグメントとは異なる目的のために公開されたため(そのため、透かしの受信者/使用目的などに関する詳細が異なり得る)であることを含む、いくつかの理由から行われ得る。
データがローカルデータストア524および/または遠隔データストアに記憶される場合、そのようなデータは、所与の時間の間、保持され得る。法律上または規制上の要件を満たすために、最低限の時間のデータの保持が必要とされ得る。好適には、データは、データが保持されることになる時間の長さを示す寿命値、および/またはデータが削除され得る日付を示す有効期限と関連付けられる。システムは、寿命値または有効期限に達すると、データを自動的に削除するように構成されてもよい。例えば、病院は、例えば、7日間など、一定の日数の間、外科用ロボット処置からのデータを保持する方針を有し得る。それゆえに、寿命値は、7日に設定され得る。処置の完了から7日が経過すると、その処置に関連するデータは、ローカルおよび/または遠隔ストレージから自動的に削除され得る。データを自動的に削除する代わりに、ユーザは、データの削除を確認するプロンプトを受信し得る。
いくつかの場合、データアノニマイザシステムは、寿命値または有効期限に達すると、データを自動的に匿名化するように構成されてもよい。このように、データストリームが匿名化されることなく保持される場合、寿命値に対応する期間(または有効期限まで)、データストリームが利用可能であり得る。この時間の間、例えば、処置が行われた病院内の全データがレビューに利用可能である。そのようなレビューは、処置を行った外科医および/または手術チームによって行われ得る。好適には、寿命値/有効期限は、標準的な処置後レビューが完全なデータに対して行われ得るほど十分に長い持続時間の間、完全なデータが保持されるように、選択され得る。例えば、処置から7日以内にそのようなレビューを実施することが病院の方針である場合、寿命値は、7日に設定され得る。データは、次いで、この期間の終了時にデータを自動的に匿名化されて、患者の機密性が維持されるが、匿名化されたデータストリームがより長い期間にわたって利用可能であるままであることを確保し得る。
いくつかの場合、データストリームは、第1の寿命値(または第1の有効期限)と関連付けられ得る。この寿命値は、完全なデータが利用可能なままである時間の長さを判定し得る。この期間の終了時に、データは、データアノニマイザシステムによって匿名化され得る。匿名化されたデータ(および任意選択的にデータストリーム)は、第2の寿命値(または第1の有効期限よりも後の第2の有効期限)と関連付けられ得る。この第2の寿命値は、匿名化されたデータが利用可能なままである時間の長さを判定し得る。例えば、第1の寿命は、3日間であるように選択され得、第2の寿命は、14日間であるように選択され得る。この例では、完全なデータは、処置の後、3日間保存され得る。この時間の間に、完全なデータがレビューされ得る。3日後、データは、自動的に匿名化される。匿名化されたデータは、さらに14日間保持され、その後、自動的に削除される。他の期間が、必要に応じて選択され得る。第2の寿命値(第2の有効期限)は、匿名化されたデータが決して自動的に削除されないことを示し得る。自動的に匿名化/削除されるデータの代わりに、ユーザは、関連する段階でデータを匿名化および/または削除するように促され得る。そのように促すことは、権限のある人物がデータの管理に引き続き責任を負うことを確保し得る。
典型的には、完全なデータは、ローカルに保持されることになる。いくつかの場合、匿名化されたデータは、ローカルに保持され得る。いくつかの場合、匿名化されたデータは、遠隔に保持されることになる。匿名化後、システムは、匿名化されたデータを遠隔ストアに転送し、ローカルストアからデータを削除するように構成され得る。したがって、このような場合、完全なデータは、所定の期間にわたってローカルに利用可能であり得、その後、匿名化されたデータは、さらに所定の期間にわたって遠隔で利用可能であり得る。
いくつかの場合、データストリームが満了するか、その寿命の終わりに達すると、削除前に自動的に匿名化され得る。このようにして、削除されたデータのいかなる復元も、個人識別可能情報を明らかにせず、匿名化されたデータのみを明らかにする。いくつかの場合、データストリームまたは匿名化されたデータストリームは、削除前に透かし(またはさらなる透かし)が付けられ得る。好適には、透かしは、データが削除されることを示す。したがって、削除されたデータが復元される場合、そのデータが意図的に削除されたと判定され得る。いくつかの場合、データを再生するための再生システムは、データが削除された(または削除されるべき)ことを示す透かしを有するデータの再生を防止するように構成され得る。
ここで、例示的な外科用ロボットシステム502を例示する図6を参照する。この例では、外科用ロボットシステム502は、制御ユニット606によって駆動される2つの外科用ロボット602および604を備える。制御ユニット606は、第1および第2のコントローラ612、614からの入力を含む、オペレータコンソール610(図2のオペレータコンソール200などであるが、これに限定されない)からの入力608を受信する。制御ユニット606は、オペレータコンソール610から、フットペダル入力、音声認識入力、ジェスチャ認識入力、視線認識入力などのような他の入力を受信し得る。制御ユニット606はまた、外科用ロボット602、604から入力616を受信する。これらの入力には、ロボットアームのジョイント上に位置する、位置センサおよびトルクセンサからのセンサデータが含まれる。制御ユニット606は、各ロボットから、力フィードバック、外科用器具からのデータ、または外科用器具についてのデータなど、他の入力616を受信してもよい。制御ユニット606は、ロボット602、604およびオペレータコンソール610から受信する入力に応答して、ロボット602、604を駆動する。制御ユニット606は、1つ以上のプロセッサ618およびメモリ620を含む。メモリ620は、1つ以上のプロセッサ618によって実行されてドライバを制御することができる、ソフトウェアコードを非一時的に記憶する。
図6の例示的な外科用ロボットシステム502は、2つの外科用ロボットを含むが、本明細書に説明される方法および技術は、1つのみの外科用ロボットを有する外科用ロボットシステム、および3つ以上の外科用ロボットを有する外科用ロボットシステムに等しく適用可能であることは、当業者には明白であろう。
上記の説明は、個人識別可能特徴の例であるようにビデオシーケンス内で検出された患者の顔を説明する。そのような場合、所与のデータチャネル(ここでは、ビデオデータ)の特徴が判定され得、それに応答して、データアノニマイザは、同じデータチャネル(ビデオデータ)内でデータを匿名化し得る。いくつかの場合、1つのデータチャネルにおける1つ以上の特徴が判定され得、それに応答して、データアノニマイザは、特徴が検出されたデータチャネルにおけるデータと共に、またはそれに代えて、1つ以上の他のデータチャネル内のデータを匿名化し得る。顔検出以外の多くの特徴が、本技術と関連して有用であることを証明し得ることが理解されるであろう。ここで、特徴のいくつかの例が説明される。
個人識別可能特徴は、データストリームが、個人識別可能情報を含むか、または含む可能性が高いように特徴付けられ得る、依存的な任意の特徴であり得る。これは、名前または顔などの個人識別可能情報をデータストリーム内で検出することによるか、または個人識別可能情報がデータストリーム内に存在することになる可能性が高い処置における外科用ロボットシステムまたは段階の構成を検出することにより得る。
いくつかの実施態様では、個人識別可能特徴は、外科用ロボットシステムの状態を含むか、またはそれに依存して判定される。外科用ロボットシステムの状態(すなわち、システムの少なくとも一部分の状態を含む状態データ)は、
・内視鏡などの器具の取り付け状態と、
・アームに取り付けられた器具の動作状態と、
・ロボットの動作状態と、
・アームおよび/またはアームに取り付けられた器具の構成と、
・制御コンソールの制御状態と、のうちの1つ以上を含み得る。
例えば、内視鏡などの器具がアームに取り付けられていない場合、個人識別可能データがデータストリーム内に存在する可能性が高い(内視鏡視野が患者を含む可能性が高い)。したがって、内視鏡の取り付け状態は、データストリーム内の個人識別情報の存在(例えば、アームに接続されていないとき)を示すという点で、個人識別可能特徴として用いられ得る。したがって、この例では、内視鏡がアームに取り付けられていないという、個人識別可能特徴を検出することは、この状態で内視鏡によってキャプチャされたビデオデータが、データアノニマイザによって匿名化されるようにマークされるか、または別様に示され得ることを意味する。この例では、特徴は、内視鏡が取り付けられていない期間全体を通して検出されることになる。したがって、データストリームは、特徴が存在すると判定される期間にわたって匿名化され得る。
いくつかの場合、特徴は、アームへの内視鏡の取り付け(すなわち、内視鏡が取り付けられている/取り付けられているままの状態ではなく、内視鏡を取り付けるイベント)を含み得る。したがって、そのような場合、データが匿名化されるために、特徴が常に存在する必要はない。そのような場合、アームへの内視鏡の取り付けが発生すると判定される場合、内視鏡がアームに取り付けられていなかった間に先行するデータストリームがキャプチャされたことが知られることになる。そのような特徴の判定に応答して、データアノニマイザは、特徴に先行するデータを匿名化し得る。取り付けイベントが取り外しイベントに先行される(すなわち、内視鏡がアームに再び取り付けられる前にアームから取り外されるか、または別のアームに取り付けられる)場合、両方のイベントは、特徴であると判定され得、それに応答して、データアノニマイザは、特徴(イベントの発生)間のデータストリームを匿名化するように構成され得る。このようにして、データアノニマイザは、内視鏡がアームに取り付けられていない期間、ビデオデータを匿名化し得る。
上記の場合は、別のデータチャネルの特徴を判定することに応答して、1つのデータチャネルを匿名化するデータアノニマイザの例である。ここで、特徴が状態データ内で判定され、ビデオデータが匿名化される。
器具の動作状態は、外科用ツールが外科医によって現在制御されているか否かを示し得る。例えば、グリッパツールがアームに取り付けられる場合、ツールの動作状態は、グリッパツールが起動されているか否か、すなわち、外科医によって移動/使用されているか否かを示し得る。外科医が外科手術部位のビューを有していない限り、ツールは、外科医によって使用されないため、ロボットのアームに取り付けられた少なくとも1つのツールが能動的制御下にあるとき、内視鏡が外科手術部位の画像をキャプチャすることになるため、患者の体腔内に位置することになると判定され得る。したがって、ツールが動作状態にある場合、そのような特徴は、後続するビデオデータが「安全」であることを示し得、すなわち、個人識別可能情報を含まない。そのような特徴の判定に応答して、データアノニマイザは、受信されたデータストリーム内の先行データを匿名化するように構成され得る。
ロボットの動作状態は、例えば、内視鏡がポートを通して挿入されているか否かを示すことによって、データストリーム内のデータを特徴化またはセグメント化するために使用され得る。ロボットの動作状態は、ロボットシステム、または制御コンソールのモードを含み得る。ロボットシステムは、「ポート訓練」モードに初期化されるか、またはそのモードにされ得る。このモードでは、器具(内視鏡またはグリッパ器具などの他のタイプの器具であり得る)がアームに取り付けられ、ポート内に部分的に位置付けられ得る(ポートは、仮想ポートとすることができ、すなわち、物理ポートである必要はなく、これは、以下でより詳細に論じられる)。アームは、アームを押すユーザによって動かされて、システムがポートの場所を判定することを可能にし得る。このようにして、システムは、仮想ピボット点(VPP)の位置を確立し得、それを中心として、器具は、ポートを通して挿入されたときに枢動するように制限される。次いで、システムは、器具の外科的制御が開始され得る位置に向かって、器具がポートを通してさらに挿入され得る、「器具調整」モードに移動され得る。例えば、器具が内視鏡である場合、器具の先端(内視鏡撮像装置を収容し得る)が所望の外科手術部位に隣接して位置するまで、器具が挿入され得る。他の場合では、器具は、器具のエンドエフェクタが外科手術部位に位置する内視鏡の視野内に入るまで、挿入され得る。システムは、器具調整モードと、手術器具の制御がオペレータ(例えば、外科医)によって有効化され得る「外科手術」モードとの間で動かされ得る。システムはまた、外科手術モードと、器具が取り外され、かつ交換され得る「器具変更」モードとの間で好適に動かされ得る。システムが外科手術モードにある場合、内視鏡がポートを通して挿入されていると判定され得る。したがって、いくつかの場合、データストリームは、システムが外科手術モードにある場合、「安全」であると示され得る。他のとき(システムが他のモードにあるとき)には、キャプチャされたデータは、患者のビューも含み得る、手術室のビューなどの非外科手術データを含み得る。したがって、データアノニマイザは、外科手術モードに入る前にキャプチャされたデータ、および/またはシステムが外科手術モードを終了した後にキャプチャされたデータを匿名化し得る。
上述のように、ポートは、仮想ポートを含み得る。いくつかの場合、ポートは、器具が通過し得る物理ポートを備える。いくつかの場合、ポートは、「仮想ポート」であってもよく、物理ポートが存在する必要はない。これは、例えば、器具が、患者の鼻孔または口などの、患者の開口部を通して挿入される場合であり得る。仮想ポートは、上記のものと同様の様式で定義され得る。例えば、内視鏡などの器具は、仮想ポート(例えば、患者の鼻孔の中)を通して少なくとも部分的に挿入され得、アームは、ユーザによって動かされて、システムが仮想ポートの空間内の場所を判定することを可能にする。このようにして、システムは、仮想ピボット点(VPP)の位置を確立し得、それを中心として、器具は、仮想ポートを通して挿入されたときに枢動するように制限される。
いくつかの場合、外科用ロボットシステムの状態は、アームおよび/またはアームに取り付けられた器具の構成を含み得る。これは、器具/アームがどのように位置付けられるかについての情報を提供し得、そこから、例えば、処置が実施されているか、および/または内視鏡が患者の体腔内に挿入される可能性があるか否かが判定され得る。
外科用ロボットシステムの状態は、内視鏡などの器具の仮想ピボット点(VPP)が設定されるか否かを含み得る。VPPの設定は、器具がポートを通して挿入されていることを示し得る。システムは、VPPの場所、ならびに器具のエンドエフェクタおよび器具シャフトの場所の知識(例えば、アーム運動学からの)に基づいて、ポートを通して挿入される器具の有無を判定し得る。外科用ロボットシステムの状態は、器具または器具の一部分の位置および/または移動、例えば、器具の先端が患者の体腔の内側にあるか否か、または先端がポート、もしくはそのポートと関連付けられた画定されたVPPを通過したか否かを含み得る。
いくつかの場合、外部ソースがシステムの状態を示し得る。例えば、ポートは、器具、または器具の特定の部分がポートを通過するときに感知するように構成された器具センサを備え得る。器具センサは、器具を磁気的に感知するように構成された磁気センサを備え得る。例えば、器具センサは、ホール効果センサを含み得る。器具は、少なくとも部分的に磁気または磁気化され得る。器具先端は、ホール効果センサによって感知するための磁石を含み得る。
同じ事柄を判定するために異なるやり方、例えば、内視鏡先端が患者の体腔内に挿入されているか否かが存在し得ることが理解されるであろう。データアノニマイザは、判定された特徴の任意の1つまたは任意の組み合わせに依存して、データストリームを匿名化するように構成され得る。このようにして、データアノニマイザシステムは、システム障害が1つの特徴を不正確に判定させ得る場合でも、患者のプライバシーがより良好に保護されるように、冗長性を伴って動作し得る。
いくつかの実施態様では、個人識別可能特徴は、次のうちの1つ以上を含むか、それに依存して判定される。
(i)ビデオデータが拡大または縮小する円を含むか否か。
内視鏡が外科手術部位に向かってポートを通過すると、ポートの外周は、画面の境界を越えて広がる内視鏡ビデオの円として見えることになる。内視鏡がポートから退避されると、ポートの外周は、画面の境界を越えて収縮する内視鏡ビデオの円として見えることになる。円は、内視鏡がポートから離れて移動される際に、内視鏡の視野を一方側に残し得る。したがって、例えば、画像認識によって、ビデオ画像が拡大円および収縮円のうちの一方または他方(あるいは両方)を含むか否かを検出することは、内視鏡先端がポートを通して内向きまたは外向き(あるいは両方)に通過するか否かの検出を可能にし得る。それゆえに、この特徴の判定は、内視鏡先端が手術野内またはそこから外に遷移しているかをデータアノニマイザが判定することを可能にし得る。したがって、この判定は、データアノニマイザが、それに応じて匿名化されたデータを生成することを可能にし得る。内視鏡挿入前および/または内視鏡退避後にキャプチャされたデータは、匿名化され得る。これらのイベントの間のデータは、「安全」であり、かつ匿名化を必要としないことが示され得る。
(ii)ビデオデータがポート識別特徴を含むか否か。
ポートは、画像検出モジュールによって検出され得る視覚的インジケータを用いてマークされ得る。この視覚的インジケータの検出時に、内視鏡先端がポートを通過したと判定され得る。内視鏡がポートを通過した方向は、視覚的インジケータがビデオデータ内でどのように動くか、および/または内視鏡の以前の状態が「挿入」または「退避」であったかに基づいて判定され得る。
(iii)画像ホワイトバランス、画像スペクトル、および画像の中心から縁までの画像勾配のうちの1つ以上の尺度、ならびに/または画像ホワイトバランス、画像スペクトル、および画像の中心から縁までの画像勾配のうちの1つ以上の尺度の変化
外科手術部位からキャプチャされたビデオデータは、手術室からキャプチャされたビデオデータよりもはるかに赤色である可能性が高い。外科手術部位からキャプチャされたビデオデータは、手術室からキャプチャされたビデオデータよりも、中心から縁までのより大きい画像勾配を有する可能性が高い。したがって、これらの画像(または一連の画像)の尺度のうちの1つ以上は、内視鏡が挿入されるか否かを示し得る。いくつかの場合、例えば、ビデオフレームのシーケンス内のフレーム間の1つ以上の尺度の変化は、遷移が発生したと判定するために使用され得る。例えば、シーケンス内のより早いフレームが、シーケンス内のより遅いフレームよりも低い赤色コンテンツを有する場合、手術室(手術野外)のビデオから患者の体腔(手術野内)のビデオへの遷移が発生したと判定され得る。
画像スペクトルの尺度は、可視スペクトル内、可視スペクトルの外側、または可視スペクトルの内側および外側の両方で得られた尺度を含み得る。例えば、画像スペクトルは、可視スペクトルに及び得る。好適には、画像スペクトルは、スペクトルの赤外線部および紫外線部のうちの1つ以上を含む。画像スペクトルの尺度は、可視帯域幅、紫外線帯域幅、および赤外線帯域幅のうちの2つ以上などの、複数の帯域幅にわたって取得された尺度を含み得る。いくつか場合、フレーム間のUV光のレベルの低下が存在する場合、手術室(より多くの/より明るいUV源が存在し得る)から患者の体腔への遷移が発生したと判定され得る。フレーム間のIR光のレベルの増加は、同様に、手術室から患者の体腔(比較的高いIR放射が存在し得る)への遷移が発生したことを示し得る。
フレームは、シーケンス内の連続フレームであってもよく、または1つ以上の他のフレームによって離間していてもよい。手術野内または手術野外への遷移の大まかな判定は、例えば、30秒ほど時間的に互いに間隔を置いたフレームを比較することによって見出され得る。当業者に明らかであろうように、任意の他の好適な期間が使用され得る。指定された期間内に発生する遷移が識別されると、より短い期間によって分離されたフレームが比較され得る。いくつかの場合、フレームは、一連の連続するより短い時間分離で比較され得る。例えば、30秒、10秒、2秒、0.5秒である。より大きいおよび/またはより小さい時間分離値が使用され得る。多かれ少なかれ異なる時間分離が使用され得る。このようにして、より微細な判定が、より小さい処理コストおよび/または時間で反復的に達成され得る。
尺度は、画像の増加割合が、比較的赤色の光、比較的少ないUV光、比較的多いIR光などのうちの1つ以上を含むことを含み得る。これは、内視鏡がポートまたは患者の体腔に近づいていることを示し得る。このようにして、尺度は、キャプチャされたビデオが手術野の外側から手術野の内側に遷移しているという指標であり得る。逆もまた真実であり得、画像の縮小割合が、比較的赤色の光、比較的少ないUV光、比較的多いIR光などのうちの1つ以上を含むことを尺度が含む場合、内視鏡が手術野の内側から手術野の外側に遷移していると判定され得る。
尺度は、所与の周波数帯(複数可)における電磁放射の吸収の尺度を含み得る。例えば、差分吸収などの吸収の尺度は、患者の組織を検出するために使用され得る。これは、内視鏡が患者の体腔内にあること、またはおそらく患者が視野内で視認可能であることを示し得る。尺度は、視認される組織を識別するために、システムの状態などの異なる測定基準と共に使用され得る(識別された組織が内部または外部のどちらであるかを任意選択的に含む)。
画像ホワイトバランス、画像スペクトル、および/または画像勾配の尺度は、画像に対する平均値を含み得る。
(iv)ビデオデータが解剖学的特徴を含むか否か。
ビデオデータは、ビデオデータ内に示される物体を判定するために分析され得る。例えば、血管または内臓などの内部解剖学的構造が検出される場合、システムは、内視鏡が手術野の内側にあると判定し得る。データアノニマイザは、手術野内でキャプチャされていると定義されていないビデオデータの一部を選択的に匿名化し得る。したがって、ビデオセグメントが内臓の画像を含む場合、ビデオセグメントは、「安全」としてマークされ得、匿名化は、行われる必要がない可能性がある。識別された器官が、例えば、画像スペクトルの尺度も考慮することによって、その時点で実際に患者の内部にあることを確認するために、さらなるチェックがなされてもよい。
手術野の外側にある内視鏡を示す解剖学的特徴が検出され得る。例えば、ビデオデータの分析は、ビデオデータが患者の腹部、または腕の外部ビューを含むと判定し得る。そのような場合、ビデオデータの関連部分は、視認可能な個人識別可能データがないと判定され得る場合(例えば、腹部が視野全体を占有する場合)に「安全」としてマークされ得るか、または潜在的に個人識別可能情報が存在し得る(腕の異なる入れ墨など)場合、「安全」としてマークされない(「安全ではない」としてマークされることを含み得る)。
(v)ビデオデータが、手術野の外部であることが知られている物体を含むか否か。
ビデオデータ分析は、手術室内の物体(手術テーブル、ロボットアーム、心拍モニタなど)が視認可能であると判定する場合、内視鏡が手術野の外側にあり、かつ手術室自体からビデオをキャプチャしていると判定され得る。これは、個人識別可能情報を含み得るため、ビデオデータのそのような部分は、匿名化のためにマークされ得る。いくつかの場合、ビデオデータは、例えば、既知の「安全」物体(例えば、手術台の脚)が視野全体を占有する場合、視認可能な個人識別可能情報がないと判定され得る。
(vi)実施されている処置。
異なる処置について、ビデオデータを形成するビデオは、異なる特性を含む可能性が高い。例えば、内視鏡がポートに挿入される/ポートから除去される処置の回数、挿入期間の持続時間、挿入された期間中に視認可能な外科手術部位などである。実施されている処置に対する特徴の判定に基づくことは、ビデオデータのビデオ分析が、何を予期するか、またはおよそ何を予期するかを知ることを可能にし得る。これは、結果的に、より高い精度でビデオの特徴の検出を可能にし得る。
(vii)1つ以上の既知の特徴を使用して訓練された機械学習システム。
オペレータは、特徴がデータストリーム内に存在するとき、システムに表示し得、この表示は、他のデータの同じまたは同様の特徴を認識することができるように入力表示から学習し得る機械学習システムに渡され得る。機械学習システムは、畳み込みニューラルネットワークを含み得る。機械学習システムは、リカレントニューラルネットワークを含み得る。
個人識別可能特徴は、いくつかの場合、データストリームと関連付けられたマーカを含み得る。マーカは、データストリームの一部を形成し得、例えば、マーカは、処置中またはその後のいくつかの時点でデータストリームに追加されていてもよい。データストリームの1つ以上のデータチャネルは、マーカを含み得る。例えば、ビデオデータは、マーカを含み得る。マーカは、マーカが関連付けられているか、またはマーカが一部を形成する、データチャネルに依存し得る、任意の好適な形態をとり得る。いくつかの場合、マーカは、ビデオストリームに追加される拡張であり得る。拡張は、ビデオがキャプチャされる際、またはビデオがキャプチャされた後にいくつかの時点で追加され得る。マーカは、本明細書に説明される1つ以上の他の特徴(処置の段階、内部器官の視認性、システムの状態など)の存在を示し得る。マーカは、本明細書に説明される他のそのような特徴(ビデオが手術野の内側、手術野の外側などであるかどうか)に向かう、離れる、またはそれらの間の状態または遷移を示し得る。
これらの特徴の組み合わせが有用に使用され得る。例えば、円が画像内で拡大し、その後に画像の赤みが増加することを検出することは、内視鏡先端がポートを通して挿入されたことを判定するために使用され得る。特徴の組み合わせは、有利には、そのような判定が行われ得る精度を向上させ得る。
いくつかの実施態様では、内視鏡は、角度付き先端を有し得る。そのような場合、先端の配向は、内視鏡が患者の体腔から退避される前に、内視鏡の視野が非機密患者区分に制限されるように、すなわち、顔および場合により任意の他の潜在的に識別可能な解剖学的構造も回避するように、制御され得る。これは、匿名化を必要とするデータストリーム内のデータ量を低減させ得る。したがって、データを処理(匿名化)する時間が低減され得る。
例示的な内視鏡は、図4に関して上記に説明された。他のタイプの内視鏡は、本技術と共に使用され得る。そのような内視鏡は、内視鏡が、端にカメラが装着され得るプローブであるとみなされ得る、「チップオンティップ」タイプ内視鏡を含む。カメラは、チップ、例えば、CCDチップ、および任意選択的にいくつかの関連する処理論理の形態をとり得る(少なくともいくつかの処理論理が別個に提供され得る)。図4を参照して説明される内視鏡は、外部光源と共に動作する。内部光源と共に動作する内視鏡を使用することもできる。例えば、光源は、内視鏡自体の一部として提供され得、光は、所望の光出力場所に導かれる。光ルーティングは、1つ以上の光ファイバケーブルによって達成され得る。いくつかの場合、光源は、内視鏡の先端に、またはそれに隣接して提供され得る。そのような光源は、LEDを含み得る。複数のLEDが提供され得る。内部、外部、または内部と外部とのいくつかの組み合わせであるかにかかわらず、光源は、光出力の強度および/または光出力の周波数を変化させるために制御され得る。
いくつかの場合、内視鏡は、可視範囲外の光(またはより一般的には、電磁放射)を出力するように構成された光源(またはより一般的には、照明源)を提供され得る。好適には、照明源は、スペクトルにわたって電磁放射を出力するように構成される。スペクトルは、可視光、紫外線、および赤外線のうちの1つ以上を含み得る。
上記に論じられたように、データを匿名化することは、データストリームから時間スライスを除去すること、またはデータストリームの少なくとも一部分をぼかすこと/マスクすることを含み得る。好適には、データの匿名化は、必須ではないが、すべてのデータチャネルで実施される。データの匿名化は、必須ではないが、すべてのデータチャネルで一度に実施され得る。いくつかの場合、データアノニマイザは、データチャネルのサブセットを匿名化するように構成され得る。例えば、データアノニマイザは、ビデオデータチャネル、および場合により音声データチャネルも匿名化し得るが、テレマティクスデータおよび/または状態データを匿名化する必要はない。これは、ビデオデータ、および場合により音声データも、個人識別可能情報を含む可能性が高いためであり得る。データアノニマイザが、データチャネルを別個に匿名化するように構成される場合、データアノニマイザシステムは、好適には、匿名化されたデータストリームを保存または転送する前に、匿名化されたデータチャネルを任意の残りのデータチャネルと共に、匿名化されたデータストリームに組み合わせるように構成される。いくつかの場合、データチャネルは、別個に、またはデータチャネルのサブセットを含むグループ内に、保存および/または転送され得る。
いくつかの場合、上記に論じられたように、データアノニマイザは、(時系列的に)検出された特徴の前、(時系列的に)検出された特徴の後、または(時系列的に)検出された特徴の間の、受信されたデータストリームの期間を修正し得る。いくつかの場合、データアノニマイザは、検出された特徴の周囲に(すなわち、そのいずれかの側に)位置する期間の間、受信されたデータストリームを匿名化するように構成され得る。例えば、データアノニマイザは、特徴が検出される30秒前および30秒後の期間、受信されたデータストリームを匿名化するように構成され得る。データが匿名化される特徴の前の期間は、データが匿名化される特徴の後の期間と同じである必要はない。
データアノニマイザシステムは、1つよりも多いやり方でデータストリームを匿名化するために使用され得る。いくつかの場合、データストリームは、第1の匿名化されたデータを生成するために第1のレベルに匿名化され得、第2の匿名化されたデータを生成するために第2のレベルに匿名化され得る。いくつかの場合、データアノニマイザシステムは、第1の匿名化されたデータをさらに匿名化することによって、第2の匿名化されたデータを生成するように構成される。いくつかの場合、データアノニマイザシステムは、第1の匿名化されたデータよりも広範囲にデータストリームを匿名化することによって、第2の匿名化されたデータを生成するように構成される。例えば、第1の匿名化されたデータは、受信されたデータストリームから顔を省略することによって(ビデオデータの関連部分を完全に除去すること、またはビデオデータの関連部分をマスクすることによって)、匿名化されていてもよい。第2の匿名化されたデータは、手術野外からキャプチャされたすべてのビデオデータを省略することによって、匿名化されていてもよい。このようにして、第2の匿名化されたデータは、第1の匿名化されたデータとは異なる(より高い)レベルの匿名性に対して匿名化されたものとみなされ得る。
異なるレベルの匿名性に対して匿名化されている匿名化されたデータは、異なる目的に使用され得る。上記の例を参照すると、第1の匿名化されたデータは、レビューのために外科手術チームに提供され得る。外科手術チームが、処置の時点での手術室の中の人々の行動をレビューするために、および外科手術部位で視認される処置をレビューするために有用である。第2の匿名化されたデータは、レビューのために学術部門に提供され得、学術部門は、外科手術部位における手術へのアクセスを、それらのレビューの目的のみのために必要とし得る。
データアノニマイザは、既知の形状をワイヤフレームモデルに変換すること、データストリーム内の完全なデータの代わりにそれらのモデルを保存する(すなわち、完全なデータを除去する)ことによって、データストリームを修正するように構成され得る。これは、特にビデオデータに関する。ビデオデータ内で視認可能な内臓および/または器具ならびにエンドエフェクタの画像は、それらの器官、器具またはエンドエフェクタのワイヤフレームモデルによって置換され得る。患者が器官の特定の特徴によって識別され得る場合、データストリームのそのような修正は、データストリームを匿名化することを支援し得る。
ここで、外科用ロボットシステムによってキャプチャされたデータストリームに基づいて、匿名化されたデータストリームを自動的に生成するための例示的な方法700を例示する図7を参照する。ブロック702では、システムによってキャプチャされたデータストリームが受信される。データストリームは、例えば、受信器504によって、上記に論じられたデータアノニマイザシステム500によって受信され得る。ブロック704では、受信されたデータストリームの特徴が判定される。これは、受信されたデータストリームを匿名化する際に使用するための、個人識別可能特徴の判定とすることができる。例えば、特徴は、内視鏡が患者の体腔内に挿入されたという判定とすることができる。ブロック706では、匿名化されたデータストリームが生成される。匿名化されたデータストリームは、ブロック702で受信されたデータストリームおよびブロック704で判定される特徴に依存して生成される。
いくつかの場合、ビデオデータは、外科用ロボットシステムに取り付け可能である内視鏡によってキャプチャされる必要はない。例えば、ビデオデータは、ロボット内視鏡ではない内視鏡によってキャプチャされ得る。内視鏡は、手動で制御可能な内視鏡であってもよい。このように、ビデオデータ、またはより一般的には、データストリームは、外科用ロボットシステムの外部にある(その一部ではない)装置によってキャプチャされ得る。そのような装置は、内視鏡に限定されない。そのような装置は、患者および/または患者の状態を監視するための監視装置を備え得る。そのような装置は、内視鏡、心拍数モニタ、血圧モニタ、血流モニタ、呼吸モニタなどのうちの1つ以上を含み得る。
データアノニマイザシステムは、監視装置などの装置からキャプチャされたデータストリームを匿名化するために提供され得る。データストリームは、個人識別可能データを含み得る。例えば、データストリームは、ビデオデータを含み得る。データアノニマイザシステムは、好適には、データストリームを受信し、個人識別可能データを示すデータストリームの特徴を判定し、判定された特徴および受信されたデータストリームに依存して、個人識別可能データを省略する匿名化されたデータストリームを生成するように構成されている。
データアノニマイザシステムは、データストリームを受信するように構成された受信器を備え得る。データアノニマイザシステムは、匿名化されたデータストリームを生成するように構成されたデータアノニマイザを含み得る。データアノニマイザは、特徴を判定するように構成され得る。特徴を判定することは、受信されたデータストリームの特徴を検出することを含み得る。
装置は、手術野内の撮像のための撮像装置を含み得る。装置は、患者内の外科手術部位で撮像するための撮像装置を含み得る。データストリームは、手術野内からキャプチャされたデータを含み得る。データストリームは、患者内の外科手術部位からキャプチャされたデータを含み得る。データストリームは、ビデオデータを含み得る。データストリームは、手術野外からキャプチャされたデータを含み得る。
装置は、外科用ロボットシステムから遠隔(その外部)であってもよい。データアノニマイザは、外科用ロボットシステムで、またはそれと共に使用するためのものであり得る。データアノニマイザは、外科用ロボットシステムの一部を形成し得る。データは、外科用ロボットシステムの外部(またはその遠隔から)の装置からキャプチャされ、外科用ロボットシステムで匿名化され得る。すなわち、外科用ロボットシステム(またはデータアノニマイザシステムなどの外科用ロボットシステムの少なくとも一部分)は、システムから遠隔でキャプチャされたデータを匿名化するために使用され得る。外科用ロボットシステムから遠隔でキャプチャされたデータは、外科用ロボットシステムによってキャプチャされたデータと同期され得る。外科用ロボットシステムから遠隔でキャプチャされたデータは、外科用ロボットシステムによってキャプチャされたデータに依存して匿名化され得る。
個人識別可能データを示すデータストリームの特徴は、本明細書の他の箇所に説明される特徴に依存して、含むか、または判定され得る(完全な詳細は、簡潔化のためにここでは繰り返さない)。例えば、データストリームの特徴は、ビデオデータが手術野の外側または内側からキャプチャされるという表示、および/または手術野の内側でキャプチャされることへ/からビデオデータが手術野の外側からキャプチャされることの間の遷移を含むという表示を含み得る。そのような特徴は、(本明細書の他の箇所でより詳細に説明されるように)、以下のうちの1つ以上(組み合わせを含む)を含み得る:
ビデオデータが拡大または縮小する円を含むか否か、
ビデオデータがポート識別特徴を含むか否か、
画像ホワイトバランス、画像スペクトル、および画像の中心から縁までの画像勾配のうちの1つ以上の尺度、ならびに/または画像ホワイトバランス、画像スペクトル、および画像の中心から縁までの画像勾配のうちの1つ以上の尺度の変化、
ビデオデータが解剖学的特徴を含むか否か、
ビデオデータが、手術野の外部であることが知られている物体を含むか否か、
実施されている処置、および
1つ以上の既知の特徴を使用して訓練された機械学習システム。
データストリームは、本明細書の他の箇所に説明されるように匿名化され得る(完全な詳細は、簡潔化のためにここでは繰り返されない)。
このようにして、例えば、外科用ロボットシステムを使用して、外科用ロボットシステムから遠隔でキャプチャされたデータを匿名化することが可能である。外科用ロボットシステムから遠隔でキャプチャされたデータは、手術室を離れる前に匿名化され得る。
外科用ロボットシステムおよび/または匿名化されたデータから遠隔でキャプチャされたデータのさらなる処理が実施され得、本明細書の別の箇所に説明されるように、暗号化、透かし、寿命値との関連付けなどを含む。
ここで図8を参照すると、計算および/または電子装置の任意の形態として実装され得る例示のコンピューティングベースの装置800の様々な構成要素が例示され、本明細書に記述される方法および拡張システムの実施形態が実装され得る。コンピューティングベースの装置800は、コンピュータ実行可能命令を処理するためのマイクロプロセッサ、コントローラ、または任意の他の好適なタイプのプロセッサであり得る、1つ以上のプロセッサ802を含む。いくつかの実施例では、例えば、チップアーキテクチャ上のシステムが使用される場合、プロセッサ802は、ハードウェアにおいて(ソフトウェアまたはファームウェアではなく)、データストリームを修正する方法の一部を実装する、1つ以上の固定機能ブロック(加速器とも呼ばれる)を含み得る。オペレーティングシステム804または任意の他の好適なプラットフォームソフトウェアを含むプラットフォームソフトウェアは、コンピューティングベースの装置で提供され、それにより、図7の方法を実装するソフトウェア805などのアプリケーションソフトウェアが装置上で実行されることが可能になる。
コンピュータ実行可能命令は、コンピューティングベースの装置800によってアクセス可能である任意のコンピュータ可読媒体を使用して提供されてもよい。コンピュータ可読媒体は、例えば、メモリ806および通信媒体などのコンピュータ記憶媒体を含み得る。メモリ806などのコンピュータ記憶媒体(すなわち、非一時的機械可読媒体)は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術に実装された揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含む。コンピュータ記憶媒体には、RAM、ROM、EPROM、EEPROM、フラッシュメモリもしくは他のメモリ技術、CD-ROM、デジタル汎用ディスク(DVD)もしくは他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、またはコンピューティングベースの装置によるアクセスのために情報を記憶するために使用され得る任意の他の非送信媒体が含まれるが、これらに限定されない。対照的に、通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、もしくはキャリア波などの変調データ信号内の他のデータ、または他のトランスポート機構を具現化し得る。本明細書で定義されるように、コンピュータ記憶媒体は、通信媒体を含まない。コンピュータ記憶媒体(すなわち、非一時的機械可読媒体、例えば、メモリ806)は、コンピューティングベースの装置800内に示されるが、記憶装置は、リモートで分配または位置し、(例えば、通信インターフェース808を使用して)ネットワークまたは他の通信リンクを介してアクセスされ得ることが理解されるであろう。
コンピューティングベースの装置800はまた、コンピューティングベースの装置800から分離され、またはそれと統合され得る表示装置812に、表示情報を出力するように配置された入力/出力コントローラ810を含む。表示情報は、グラフィカルユーザインターフェースを提供し得る。入力/出力コントローラ810はまた、ユーザ入力装置814(例えば、マウスまたはキーボード)などの1つ以上の装置から入力を受信および処理するように配置される。このユーザ入力を使用して、検証を開始することができる。一実施形態では、表示装置812はまた、それがタッチセンサ式表示装置である場合に、ユーザ入力装置814として作用してもよい。入力/出力コントローラ810はまた、表示装置以外の装置、例えば、局所的に接続された印刷装置(図示せず)にデータを出力することができる。上述の説明では、説明を容易にするために、システムによって講じられた措置は機能ブロックまたはモジュールに分割されている。実際には、これらのブロックのうちの2つ以上を、建築的に組み合わせることができる。機能を異なる機能ブロックに分割することもできる。
本技術を外科用ロボットシステムの文脈において説明してきたが、説明された少なくともいくつかの特徴は、かかるシステムに限定されるものではなく、より広くはロボットシステムに適用され得る。いくつかの例では、本技術は、遠隔で動作するロボットシステムに適用され得る。本技術が有用であり得る状況のいくつかの実施例には、探索、調査、または修理のために「ヘビのような」ロボットを使用する実施例が含まれる。外科用ロボットの場合、エンドエフェクタは、メス、外科用カッタ、外科用ピンサ、または焼灼器(cauteriser)などの外科用道具であってもよい。ロボットシステムには、車両製造システム、部品取り扱いシステム、実験室システムなどの製造システム、および危険物などのためのマニピュレータまたは外科用マニピュレータが含まれ得る。
本明細書によって、本出願人は、本明細書に説明される各個々の特徴および2つ以上のかかる特徴の任意の組み合わせを、かかる特徴または組み合わせが、当業者に共通する一般知識に照らして、全体として本明細書に基づいて行うことができるような程度まで、かかる特徴または特徴の組み合わせが、本明細書に開示する任意の問題を解決するかにかかわらず、かつ特許請求の範囲を限定することなく、分離して開示する。本出願人は、本発明の態様が、任意のかかる個々の特徴または特徴の組み合わせからなり得ることを示している。前述の説明を考慮すると、本発明の範囲内で様々な修正を行うことができることは当業者には明らかであろう。

Claims (25)

  1. 外科用ロボットシステムにおけるデータを匿名化する方法であって、前記外科用ロボットシステムが、基部、および前記基部から器具の取り付け部まで延在するアーム、を有するロボットを備え、前記アームが、複数のジョイントを備え、それによって、前記アームの構成を変更することができ、前記方法が、
    前記外科用ロボットシステムによってキャプチャされたデータストリームを受信することであって、前記データストリームが、外科処置に関するデータを含み、かつ個人識別可能データを含む、受信することと、
    前記受信されたデータストリーム内の1つ以上の個人識別可能特徴を判定することと、
    前記判定された個人識別可能特徴および前記受信されたデータストリームに依存して、前記個人識別可能データを省略する匿名化されたデータストリームを生成することと、を含む、方法。
  2. 前記データストリームが、データチャネルグループからの1つ以上のデータチャネルを含み、前記データチャネルグループが、
    前記外科用ロボットシステムに連結された内視鏡から受信されたビデオデータと、
    外科処置に関して記録された音声データと、
    前記外科用ロボットシステムに対応するテレマティクスデータと、
    前記外科用ロボットシステムの少なくとも一部分の状態を含む状態データと、含む、請求項1に記載の方法。
  3. 前記個人識別可能特徴が、前記1つ以上のデータチャネルに依存して判定される、請求項2に記載の方法。
  4. 前記個人識別可能特徴が、前記データチャネルグループの第1のデータチャネルに依存して判定され、前記匿名化されたデータストリームを生成することが、前記データチャネルグループの第2のデータチャネルを修正することを含む、請求項2または3に記載の方法。
  5. 前記個人識別可能特徴が、前記データチャネルグループの第1のデータチャネルに依存して判定され、前記匿名化されたデータストリームを生成することが、前記第1のデータチャネルを修正することを含む、請求項2~4のいずれか一項に記載の方法。
  6. 前記匿名化されたデータストリームを生成することが、前記判定された個人識別可能特徴に依存して、
    前記受信されたデータストリームからデータ部分を除去することであって、前記除去されたデータ部分が、個人識別可能データを含む、除去することと、
    前記受信されたデータストリームからデータ部分をマスクすることであって、前記マスクされたデータ部分が、個人識別可能データを含む、マスクすることと、のうちの1つ以上を含む、請求項1~5のいずれか一項に記載の方法。
  7. 前記データ部分をマスクすることが、
    前記データ部分をぼかすことと、
    前記データ部分内のデータの値をマスク値で置換することと、のうちの1つ以上を含む、請求項6に記載の方法。
  8. 前記データ部分が、データの1つ以上の部分フレームを含む、請求項6または7に記載の方法。
  9. 前記データ部分が、データの1つ以上のフレームを含む、請求項6~8のいずれか一項に記載の方法。
  10. 前記個人識別可能特徴を判定することが、前記個人識別可能特徴が関連するデータの部分フレームを判定することを含む、請求項8または9に記載の方法。
  11. 前記匿名化されたデータストリームを生成することが、前記受信されたデータストリームのサブセットを保存することを含む、請求項1~10のいずれか一項に記載の方法。
  12. 前記個人識別可能特徴が、
    器具の取り付け状態と、
    前記アームに取り付けられた器具の動作状態と、
    前記ロボットの動作状態と、
    前記アームおよび/または前記アームに取り付けられた器具の構成と、
    制御コンソールの制御状態と、のうちの1つ以上に依存して判定される、請求項1~11のいずれか一項に記載の方法。
  13. 前記個人識別可能特徴は、
    器具センサから受信された器具センサ信号であって、前記器具センサが、外科手術部位へのアクセスを提供するポートを通過する器具を検出するように構成されている、器具センサ信号と、
    前記ビデオデータが拡大または縮小する円を含むか否かと、
    前記ビデオデータがポート識別特徴を含むか否かと、
    前記ビデオデータが顔の画像を含むか否かと、
    画像ホワイトバランスの尺度と、
    画像スペクトルの尺度と、
    中心から縁までの画像勾配の尺度と、
    実施されている処置と、
    前記データストリームの一部を形成するマーカと、
    複数の既知の個人識別可能特徴を使用して訓練された機械学習アルゴリズムと、のうちの1つ以上に依存して判定される、請求項1~12のいずれか一項に記載の方法。
  14. 前記匿名化されたデータストリームが、前記外科処置が実施されている際に生成される、請求項1~13のいずれか一項に記載の方法。
  15. 前記匿名化されたデータストリームを生成することが、ある期間で前記データ部分を修正することを含み、前記期間は、
    前記個人識別可能特徴が判定される前と、
    前記個人識別可能特徴が判定された後と、
    前記個人識別可能特徴が判定される前および判定された後の両方と、
    2つの個人識別可能特徴の間と、のうちの1つである、請求項6~14のいずれか一項に記載の方法。
  16. 前記受信されたデータストリームが、前記データチャネルグループからの2つ以上のデータチャネルを含み、前記匿名化されたデータストリームを生成することが、前記データチャネルのうちの少なくとも2つに関して、前記データ部分を別個に修正することを含む、請求項2~15のいずれか一項に記載の方法。
  17. 前記方法が、
    前記匿名化されたデータストリームをリアルタイムまたは実質的にリアルタイムに生成することと、
    前記匿名化されたデータストリームを遠隔プロセッサに送信し、それによって、前記遠隔プロセッサが、前記匿名化されたデータストリームのリアルタイムまたは実質的にリアルタイムの分析を実施することを可能にすることと、
    前記遠隔プロセッサから、前記外科用ロボットシステムのオペレータを支援するための前記分析の結果をリアルタイムまたは実質的にリアルタイムに受信することと、を含む、請求項1~17のいずれか一項に記載の方法。
  18. 外科用ロボットシステムからのデータを匿名化するための外科用ロボットシステムのためのデータアノニマイザシステムであって、前記外科用ロボットシステムが、基部、および前記基部から器具の取り付け部まで延在するアーム、を有するロボットを備え、前記アームが、複数のジョイントを備え、それによって、前記アームの構成が変更され得、前記データアノニマイザシステムが、
    前記外科用ロボットシステムによってキャプチャされたデータストリームを受信するように構成された受信器であって、前記データストリームが、外科処置に関するデータを含み、かつ個人識別可能データを含む、受信器と、
    前記受信されたデータストリーム内の1つ以上の個人識別可能特徴を判定するように構成された、個人識別可能特徴検出器と、
    前記判定された個人識別可能特徴および前記受信されたデータストリームに依存して、前記個人識別可能データを省略する、匿名化されたデータストリームを生成するように構成されたデータアノニマイザと、を備える、データアノニマイザシステム。
  19. 前記データストリームが、データチャネルグループからの1つ以上のデータチャネルを含み、前記データチャネルグループが、
    前記外科用ロボットシステムに連結された内視鏡から受信されたビデオデータと、
    外科処置に関して記録された音声データと、
    外科用ロボットシステムに対応するテレマティクスデータと、
    前記外科用ロボットシステムの少なくとも一部分の状態を含む状態データと、含む、請求項18に記載のデータアノニマイザシステム。
  20. 前記個人識別可能特徴検出器が、前記データチャネルグループの第1のデータチャネルに依存して前記個人識別可能特徴を判定するように構成されており、前記データアノニマイザが、前記データチャネルグループの第2のデータチャネルを修正することによって、前記匿名化されたデータストリームを生成するように構成されている、請求項19に記載のデータアノニマイザシステム。
  21. 前記データアノニマイザが、前記匿名化されたデータストリームを、
    前記受信されたデータストリームからデータ部分を除去することであって、前記除去されたデータ部分が、個人識別可能データを含む、除去することと、
    前記受信されたデータストリームからデータ部分をマスクすることであって、前記マスクされたデータ部分が、個人識別可能データを含む、マスクすることと、のうちの1つ以上によって生成するように構成されている、請求項18~20のいずれか一項に記載のデータアノニマイザシステム。
  22. 前記受信されたデータストリームが、前記データチャネルグループからの2つ以上のデータチャネルを含み、前記データアノニマイザが、前記データチャネルのうちの少なくとも2つに関して前記データ部分を別個に修正することによって、前記匿名化されたデータストリームを生成するように構成されている、請求項21に記載のデータアノニマイザシステム。
  23. 請求項1~17のいずれか一項に記載の方法を実施するように構成されたロボットシステム用のデータアノニマイザ。
  24. 基部、および前記基部から器具の取り付け部まで延在するアームを有するロボットと、請求項1~17のいずれか一項に記載の方法によってデータを匿名化するために構成されたデータアノニマイザと、を備える、ロボットシステム。
  25. コンピュータシステムで実行されると、前記コンピュータシステムに、請求項1~17のいずれか一項に記載の方法を実施させるコンピュータ可読命令を記憶している非一時的コンピュータ可読記憶媒体。
JP2022500999A 2019-07-11 2020-07-10 ロボットデータの匿名化 Active JP7550840B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023171684A JP2024016845A (ja) 2019-07-11 2023-10-02 ロボットデータの匿名化

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1909992.8A GB2585691B (en) 2019-07-11 2019-07-11 Anonymising robotic data
GB1909992.8 2019-07-11
PCT/GB2020/051678 WO2021005381A1 (en) 2019-07-11 2020-07-10 Anonymising robotic data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023171684A Division JP2024016845A (ja) 2019-07-11 2023-10-02 ロボットデータの匿名化

Publications (2)

Publication Number Publication Date
JP2022540465A true JP2022540465A (ja) 2022-09-15
JP7550840B2 JP7550840B2 (ja) 2024-09-13

Family

ID=67700227

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2022500999A Active JP7550840B2 (ja) 2019-07-11 2020-07-10 ロボットデータの匿名化
JP2022500997A Active JP7412528B2 (ja) 2019-07-11 2020-07-10 外科用ロボットシステムからのデータの修正
JP2023171684A Withdrawn JP2024016845A (ja) 2019-07-11 2023-10-02 ロボットデータの匿名化

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022500997A Active JP7412528B2 (ja) 2019-07-11 2020-07-10 外科用ロボットシステムからのデータの修正
JP2023171684A Withdrawn JP2024016845A (ja) 2019-07-11 2023-10-02 ロボットデータの匿名化

Country Status (9)

Country Link
US (2) US20220286687A1 (ja)
EP (2) EP3997603A1 (ja)
JP (3) JP7550840B2 (ja)
CN (2) CN114144785A (ja)
AU (3) AU2020311031A1 (ja)
BR (2) BR112022000475A2 (ja)
CL (2) CL2022000076A1 (ja)
GB (2) GB2585691B (ja)
WO (2) WO2021005380A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210088914A (ko) * 2020-01-07 2021-07-15 엘지전자 주식회사 공간 맵 정보 생성 방법 및 생성된 공간을 이동하는 이동로봇
US12011181B2 (en) 2020-08-10 2024-06-18 Kunnskap Medical, LLC Endoscopic system with pump control
DE102021107075A1 (de) * 2021-03-22 2022-09-22 Olympus Winter & Ibe Gmbh Verfahren, System und Softwareprogrammprodukt zum Erstellen von Trainingsdaten für endoskopische Anwendungen
US20240273900A1 (en) * 2021-06-28 2024-08-15 Intuitive Surgical Operations, Inc. Protection of personally identifiable content in a video stream generated by an imaging device during a medical procedure
WO2023114136A1 (en) * 2021-12-13 2023-06-22 Genesis Medtech (USA) Inc. Dynamic 3d scanning robotic laparoscope
WO2023166981A1 (ja) * 2022-03-03 2023-09-07 ソニーグループ株式会社 情報処理装置、情報処理端末、情報処理方法、およびプログラム
NL2031478B1 (en) * 2022-04-01 2023-10-25 Deo N V Method for anonymizing an audio data stream
US20230315905A1 (en) * 2022-04-04 2023-10-05 Digital Surgery Limited De-identifying data obtained from microphones
US20230326581A1 (en) * 2022-04-11 2023-10-12 Odin Vision Real time cloud image processing for endoscopy analysis
WO2024141974A1 (en) * 2022-12-30 2024-07-04 Cilag Gmbh International Surgical data for machine learning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016149794A1 (en) * 2015-03-26 2016-09-29 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
EP3506299A1 (en) * 2017-12-28 2019-07-03 Ethicon LLC Data stripping method to interrogate patient records and create anonymized record

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135344A (ja) 2003-10-31 2005-05-26 Toshiba Corp 医療情報システム
US8462681B2 (en) * 2009-01-15 2013-06-11 The Trustees Of Stevens Institute Of Technology Method and apparatus for adaptive transmission of sensor data with latency controls
US8934003B2 (en) * 2010-01-08 2015-01-13 Koninklijkle Philips N.V. Uncalibrated visual servoing using real-time velocity optimization
US8948478B2 (en) * 2010-10-08 2015-02-03 Codonics, Inc. Multi-media medical record system
KR101975808B1 (ko) * 2010-11-04 2019-08-28 더 존스 홉킨스 유니버시티 최소 침습 수술 기량의 평가 또는 개선을 위한 시스템 및 방법
CN104584068B (zh) 2012-08-15 2018-12-14 直观外科手术操作公司 用于优化视频流的方法和系统
US11120896B2 (en) * 2012-12-28 2021-09-14 Philips Image Guided Therapy Corporation Multi-modality anonymizing system and method
JP6176978B2 (ja) 2013-01-31 2017-08-09 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム
CA2941622C (en) * 2014-03-04 2021-04-27 Edward Priest Converter device and system including converter device
EP3197384A4 (en) * 2014-09-23 2018-05-16 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
JP7073618B2 (ja) 2016-09-23 2022-05-24 ソニーグループ株式会社 制御装置、制御方法及び医療用システム
EP3599981A1 (en) 2017-03-21 2020-02-05 Stryker Corporation Methods and systems to automate surgical interventions
KR20190000107A (ko) * 2017-06-22 2019-01-02 주식회사 엠티이지 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치
US11071595B2 (en) * 2017-12-14 2021-07-27 Verb Surgical Inc. Multi-panel graphical user interface for a robotic surgical system
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11202570B2 (en) * 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11659023B2 (en) * 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11576677B2 (en) * 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
CN109063506B (zh) * 2018-07-09 2021-07-06 江苏达实久信数字医疗科技有限公司 用于医疗手术示教系统的隐私处理方法
JP7325173B2 (ja) * 2018-10-06 2023-08-14 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム
US11185379B2 (en) * 2019-01-10 2021-11-30 Verily Life Sciences Llc Comprehensive messaging system for robotic surgical systems
US11080424B2 (en) * 2019-05-21 2021-08-03 Verb Surgical Inc. Method and system for anonymizing raw surgical procedure videos
US11069036B1 (en) * 2020-01-03 2021-07-20 GE Precision Healthcare LLC Method and system for real-time and offline de-identification of facial regions from regular and occluded color video streams obtained during diagnostic medical procedures
US20240273900A1 (en) * 2021-06-28 2024-08-15 Intuitive Surgical Operations, Inc. Protection of personally identifiable content in a video stream generated by an imaging device during a medical procedure

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016149794A1 (en) * 2015-03-26 2016-09-29 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
EP3506299A1 (en) * 2017-12-28 2019-07-03 Ethicon LLC Data stripping method to interrogate patient records and create anonymized record

Also Published As

Publication number Publication date
WO2021005380A1 (en) 2021-01-14
CL2022000077A1 (es) 2022-11-11
GB2585733A (en) 2021-01-20
AU2020311031A1 (en) 2022-03-03
CN114144785A (zh) 2022-03-04
JP7550840B2 (ja) 2024-09-13
US20210012032A1 (en) 2021-01-14
JP2024016845A (ja) 2024-02-07
AU2020309810A1 (en) 2022-03-10
BR112022000475A2 (pt) 2022-03-03
WO2021005381A1 (en) 2021-01-14
CN114096210A (zh) 2022-02-25
GB2585691A (en) 2021-01-20
CL2022000076A1 (es) 2022-11-11
JP2022540169A (ja) 2022-09-14
GB201909992D0 (en) 2019-08-28
EP3997604A1 (en) 2022-05-18
AU2024201249A1 (en) 2024-03-14
EP3997603A1 (en) 2022-05-18
GB2585733B (en) 2024-06-05
AU2020309810B2 (en) 2024-03-21
GB202002390D0 (en) 2020-04-08
GB2585691B (en) 2024-03-20
JP7412528B2 (ja) 2024-01-12
US20220286687A1 (en) 2022-09-08
BR112022000477A2 (pt) 2022-03-03

Similar Documents

Publication Publication Date Title
JP7550840B2 (ja) ロボットデータの匿名化
US12102397B2 (en) Step-based system for providing surgical intraoperative cues
US10169535B2 (en) Annotation of endoscopic video using gesture and voice commands
KR102523779B1 (ko) 수술 절차 아틀라스를 갖는 수술 시스템의 구성
JP3660887B2 (ja) 手術支援装置
JP2024530426A (ja) 位置及び外科手技固有データの記憶及び検索
JP7380557B2 (ja) 情報処理システム、情報処理装置及び情報処理方法
CN105193503A (zh) 增强的手术实践环境系统
US11439466B2 (en) Operating method for a medical system, and medical system for performing a surgical procedure
CN110366758A (zh) 医疗信息管理设备、医疗信息管理方法和医疗信息管理系统
WO2019132165A1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
WO2023002661A1 (ja) 情報処理システム、情報処理方法、及び、プログラム
US20230146057A1 (en) Systems and methods for supporting medical procedures
US20210203875A1 (en) Image recording and reproduction apparatus, image recording method, and endoscope system
US20240273900A1 (en) Protection of personally identifiable content in a video stream generated by an imaging device during a medical procedure
US11979681B2 (en) Image recording unit
KR20190000107A (ko) 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치
JP2007075520A (ja) 手術分析装置
US20210200900A1 (en) Systems and methods for censoring confidential information

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230522

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20231003

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231025

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20231110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240903

R150 Certificate of patent or registration of utility model

Ref document number: 7550840

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150