CN114096210A - 修改来自手术机器人系统的数据 - Google Patents

修改来自手术机器人系统的数据 Download PDF

Info

Publication number
CN114096210A
CN114096210A CN202080050640.7A CN202080050640A CN114096210A CN 114096210 A CN114096210 A CN 114096210A CN 202080050640 A CN202080050640 A CN 202080050640A CN 114096210 A CN114096210 A CN 114096210A
Authority
CN
China
Prior art keywords
data
data stream
surgical
robotic system
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080050640.7A
Other languages
English (en)
Inventor
史蒂文·比晓普
史蒂芬·贝莱
里卡多·迈克尔·亨德森·达席尔瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CMR Surgical Ltd
Original Assignee
CMR Surgical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CMR Surgical Ltd filed Critical CMR Surgical Ltd
Publication of CN114096210A publication Critical patent/CN114096210A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0407—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the identity of one or more communicating identities is hidden
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0407—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the identity of one or more communicating identities is hidden
    • H04L63/0421—Anonymous communication, i.e. the party's identifiers are hidden from the other party or parties, e.g. using an anonymizer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0894—Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/42—Anonymization, e.g. involving pseudonyms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/88—Medical equipments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Computer Security & Cryptography (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Bioethics (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Robotics (AREA)
  • Urology & Nephrology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Endoscopes (AREA)
  • Manipulator (AREA)

Abstract

一种减少手术机器人系统中的数据流的数据量的方法，所述手术机器人系统包括机器人，所述机器人具有基座以及从所述基座延伸到用于器械的附接件的臂，所述臂包括多个关节，由此可以改变所述臂的配置，所述方法包括：接收由所述手术机器人系统捕获的数据流，所述数据流包括与手术程序有关的数据并且具有第一数据量；识别所接收的数据流中的指示所述手术程序中的事件的特征；以及根据所识别的特征，修改所接收的数据流以生成具有小于所述第一数据量的第二数据量的经修改的数据流。

Description

修改来自手术机器人系统的数据
技术领域
本发明涉及修改来自手术机器人系统的数据以减少手术机器人系统中的数据流的数据量。
背景技术
使用机器人来辅助和执行手术是已知的。图1示出了典型的手术机器人100，该手术机器人由基座108和臂102组成。器械105联接到臂。基座支撑机器人，并且本身刚性地附接到例如手术室地面、手术室天花板或推车。臂在基座与器械之间延伸。臂借助于沿其长度的多个柔性关节103而铰接，所述多个柔性关节用于将手术器械相对于患者定位在期望位置。手术器械附接到机器人臂的远端104。手术器械在端口107处穿透患者101的身体，以便接近手术部位。如图所示，该器械在其远端处包括用于进行医疗程序的末端执行器106。术语“器械”涵盖用于对手术部位成像的内窥镜。
手术机器人100由操作者(例如，外科医生)通过图2中所示的操作者控制台200远程控制。操作者控制台200可以位于与手术机器人100相同的房间(例如，手术室)中或远离手术机器人。操作者控制台200包括用于控制臂102和/或附接到其的器械105的状态的输入装置202、204。输入装置202、204可以是安装在平行四边形联动装置上的把手或手动控制器。控制系统将手动控制器的移动转换成控制信号，以移动手术机器人的臂、关节和/或器械末端执行器。操作者控制台200还包括显示器206。显示器206被布置成对操作输入装置202、204的用户可见。显示器用于显示手术部位的视频流(例如内窥镜视频)。
一些手术程序可能需要若干手术机器人，每个机器人携带器械或其它器具，该器械或器具与手术部位处的其它器具同时使用。图3示出了手术机器人系统300，该手术机器人系统具有在患者308身上的共同工作空间中操作的多个机器人302、304、306。例如，手术机器人通常用于内窥镜手术(例如腹腔镜手术)，其也可以被称为微创手术。如本领域技术人员所知，在内窥镜程序期间，外科医生将内窥镜通过身体的小切口或天然开口(例如但不限于口或鼻孔)插入。内窥镜是具有附接到其上的摄像头的刚性或柔性管，该摄像头将实时图像传输到视频监视器(例如，显示器206)，外科医生使用该视频监视器帮助引导他的工具穿过相同的切口/开口或穿过不同的切口/开口。内窥镜允许外科医生详细查看身体的相关区域，而不必切开并暴露相关区域。该技术允许外科医生看到患者身体内部并且通过比传统开放手术所需的小得多的切口操作。因此，在典型的机器人内窥镜手术中，存在附接到一个手术机器人臂的内窥镜和附接到一个或多个其它手术机器人臂的一个或多个其它手术器械(例如，一对钳子和/或剪刀)。
图4示出了可附接到机器人臂的端部以用于微创手术的示例内窥镜400。内窥镜400具有用于插入患者的手术部位的远端402和近端404。远端402由细长轴406连接到近端404。近端404包括用于接合机器人臂的端部的接口408。内窥镜400具有用于照射手术部位的电源和光源。内窥镜400还具有用于从手术部位提取图像数据的数据线。这些可全部独立于机器人臂且在机器人臂的外部附接到内窥镜400的近端404，如图4中所示。在图4中，通过杆412施加功率，通过杆412提取图像数据，并且通过光杆410施加光。在替代实施方式中，光输入、功率输入和数据输出中的任何一个或多个可以通过机器人臂施加到内窥镜/提取到内窥镜。内窥镜400安装到机器人臂的端部。内窥镜接口408接合机器人臂的互补接口。内窥镜400可经由机器人臂和内窥镜接口附接到机器人臂且可从机器人臂拆卸。在一些情况下，内窥镜400可独立于机器人臂在其拆卸状态下操作。换句话说，在这些情况下，当从机器人臂拆卸时，内窥镜400可以由手术室工作人员的成员手动操作。
除了在手术期间使用由内窥镜捕获的图像(在本文中可统称为内窥镜视频)之外，由内窥镜捕获的图像可以被记录并且随后用于各种目的，例如但不限于学习和/或教学手术程序，以及(由第三方或由外科医生本人)评估和/或审查外科医生的表现。
除了内窥镜视频、来自机器人系统的遥测之外，可以捕获与机器人系统的状态以及手术室和/或控制台附近的音频有关的数据。此外，所捕获的数据可包括患者生命体征和/或医疗保健(例如，病史)。所捕获的数据可包括操作者数据，例如操作者的身份、操作者已经操作的时长、进行的手术等。所捕获的数据可包括从机器人系统周围的环境和/或联接到机器人系统的设备捕获的数据，或关于机器人系统周围的环境和/或联接到机器人系统的设备捕获的数据。此类捕获的数据可以单独或组合使用以辅助审查用于学习和/或教学目的的手术。此类捕获的数据可以本地存储，至少暂时存储，并且远程传送以供稍后分析。提高数据存储和/或传送的效率将是有用的。
发明内容
提供此发明内容以介绍下文在具体实施方式中进一步描述的构思的选择。本发明内容不旨在识别所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
根据本发明的一个方面，提供了一种减少手术机器人系统中的数据流的数据量的方法，所述手术机器人系统包括机器人，所述机器人具有基座以及从所述基座延伸到用于器械的附接件的臂，所述臂包括多个关节，由此可以改变所述臂的配置，所述方法包括：
接收由所述手术机器人系统捕获的数据流，所述数据流包括与手术程序有关的数据并且具有第一数据量；
识别所接收的数据流中的指示所述手术程序中的事件的特征；以及
根据所识别的特征，修改所接收的数据流以生成具有小于所述第一数据量的第二数据量的经修改的数据流。
所述方法可包括通过修改以下中的一者或多者来生成所述经修改的数据流：所接收的数据流的在所识别的特征之前的第一数据部分；以及所接收的数据流的在所识别的特征之后的第二数据部分。所述第一数据部分和所述第二数据部分中的一者或两者可以与预定时间段有关。
所述方法可包括：识别所接收的数据流中的指示所述手术程序中的另一事件的另一特征；以及通过修改所接收的数据流的第三时间段来生成所述经修改的数据流，所述第三时间段：在所识别的特征与所识别的另一特征之间；或者在所识别的特征和所识别的另一特征中的第一个之前以及在所识别的特征和所识别的另一特征中的第二个之后。
识别所述特征可包括确定是否满足规则集中的规则，以及识别满足所述规则的特征。在所述手术机器人系统和/或所述手术程序的参数组中的参数与预定义标准匹配的情况下，可以满足所述规则。所接收的数据流可包括手术参数。所述参数可以根据对所接收的数据流的分析来确定。所述方法可包括保存和/或传送所述经修改的数据流。
所接收的数据流可包括来自数据信道组的一个或多个数据信道，所述数据信道组包括：从联接到所述手术机器人系统的内窥镜接收的视频数据；关于所述手术程序记录的音频数据；对应于所述手术机器人系统的远程信息处理数据；状态数据，所述状态数据包括所述手术机器人系统的至少一部分的状态；以及由附加装置在所述局域网上传输的另外数据；并且其中所述方法可包括根据来自所述数据信道组的一个或多个数据信道来识别所述特征。所述方法可包括根据所述数据信道组中的第一数据信道识别所述特征，并且生成所述经修改的数据流可包括修改以下中的一者或多者：所述数据信道组中的第一数据信道和第二数据信道。
所识别的特征可以指示以下中的一者或多者的值或变化：器械的附接状态；附接到所述臂的器械的操作状态；所述机器人系统的操作状态或操作模式；所述臂和/或附接到所述臂的器械的配置；以及控制台的控制状态。所识别的特征可以指示以下中的一者或多者：在所述视频数据中检测到的特征；传感器数据；以及由外部连接的系统报告的数据。
所述方法可包括通过修改以下中的一者或多者来生成所述经修改的数据流：所述视频数据的至少一部分的视频清晰度；所述视频数据的至少一部分的视频信道的数目；所述视频数据的至少一部分的帧速率；所述视频数据的至少一部分的色域；所述机器人系统的状态的表示；所述音频数据的至少一部分的音频清晰度；所述数据信道组中的数据信道的数目。所述方法可包括修改所接收的数据流，使得所述经修改的数据流包括以下中的一者或多者：视频数据的具有第一分辨率的部分和视频数据的具有第二较低分辨率的部分；视频数据的具有第一数目的信道的部分和视频数据的具有第二较小数目的信道的部分；视频数据的具有第一帧速率的部分和视频数据的具有第二较低帧速率的部分；视频数据的具有第一色域的部分和视频数据的具有第二较小色域的部分；与所述机器人系统的状态变化有关的数据，其代替与在所述机器人系统的状态不改变的多个时间点处的所述机器人系统的状态有关的数据；所述视频数据中的已知形状的线框模型，其代替与该已知形状有关的完整视频数据或图形渲染数据；所述视频数据中的结构的描述，其代替与该结构有关的完整视频数据；以及绝对位置和/或相对位置的描述以及速度和/或移动轨迹的描述，其代替完整视频数据或完整远程信息处理数据。所述结构的描述可包括解剖结构、器械和末端执行器中的一者或多者的描述。
所述方法可包括通过压缩所接收的数据流的至少一部分来生成所述经修改的数据流。所述方法可包括通过压缩来自所述数据信道组的一个或多个数据信道的至少一部分来生成所述经修改的数据流。
所述方法可包括通过对所接收的数据流的至少一部分进行下采样来生成所述经修改的数据流。所述方法可包括在正在执行所述手术程序时生成所述经修改的数据流。
所述方法可包括：实时或基本上实时地生成所述经修改的数据流；向远程处理器发送所述经修改的数据流，由此使得所述远程处理器能够对所述经修改的数据流执行实时或基本上实时分析；以及从所述远程处理器实时或基本上实时地接收所述分析的结果，以辅助所述手术机器人系统的操作者。
根据本发明的另一方面，提供了一种用于手术机器人系统的数据量修改系统，所述数据量修改系统用于减少所述手术机器人系统中的数据流的数据量，所述手术机器人系统包括机器人，所述机器人具有基座以及从所述基座延伸到用于器械的附接件的臂，所述臂包括多个关节，由此可以改变所述臂的配置，所述系统包括：
接收器，所述接收器被配置成接收由所述手术机器人系统捕获的数据流，所述数据流包括与手术程序有关的数据并且具有第一数据量；
特征检测器，所述特征检测器被配置成识别所接收的数据流中的指示所述手术程序中的事件的特征；以及
数据修改器，所述数据修改器被配置成根据所识别的特征修改所接收的数据流以生成具有小于所述第一数据量的第二数据量的经修改的数据流。
根据本发明的另一方面，提供了一种用于手术机器人系统的数据量修改系统，所述数据量修改系统被配置成执行本文所述的方法。
根据本发明的另一方面，提供了一种手术机器人系统，所述手术机器人系统包括：机器人，所述机器人具有基座以及从所述基座延伸到用于器械的附接件的臂；以及数据量修改系统，所述数据量修改系统被配置成执行本文所述的方法。
根据本发明的另一方面，提供了一种非暂时性计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令当在计算机系统处执行时使所述计算机系统执行如本文所述的方法。
以上任何方面的任何特征可与以上任何方面的任何一个或多个其它特征组合。任何方法特征都可以被撰写为设备特征，反之亦然。
附图说明
现在将参考附图以举例的方式描述本发明。
在附图中：
图1示意性地示出了执行示例手术程序的示例手术机器人；
图2示意性地示出了示例操作者控制台；
图3示意性地示出了具有多个手术机器人的示例手术机器人系统；
图4示意性地示出了可附接到手术机器人臂的示例内窥镜；
图5是示例数据量修改系统的框图。
图6示意性地示出了示例手术机器人系统；
图7是修改数据流的示例方法的框图；以及
图8是示例性的基于计算的装置的框图。
具体实施方式
以下描述以举例的方式呈现，以使本领域技术人员能够制造和使用本发明。本发明不限于本文所述的实施例，并且对所公开的实施例的各种修改对于本领域技术人员将是显而易见的。仅通过实例的方式描述实施例。
数据可以由手术机器人系统捕获。此类数据可包括设置数据、拆卸数据(teardown data)、模拟训练环境数据，以及与系统的配置(例如，联接到机器人臂的器械的数目、类型，以及甚至单个零件编号和使用时间)有关的数据。数据还可包括正在执行手术的医院的详细信息、执行手术的手术团队的详细信息，以及手术本身的详细信息。数据可包括系统是夜间运行还是每周7天每天24小时运行，系统是否以及何时进行维护以及该维护的性质。由手术机器人系统捕获的数据将包括与执行时的手术有关的数据，包括以下中的一者或多者：由用于查看手术部位(例如，患者的体腔内的内部手术部位)的内窥镜捕获的视频数据、由手术机器人系统捕获的音频数据、与手术机器人系统有关的远程信息处理数据，以及与手术机器人系统的状态有关的状态数据。状态数据可包括与关节或多个关节上或周围的扭矩有关的数据和/或与机器人臂的全部或部分的运动有关的加速度计数据。状态数据可包括与系统处理器有关的数据，例如，CPU工作量数据和/或来自CPU的调试输出。
由手术机器人系统捕获的数据可以实现对手术机器人系统的机器人臂的机器人的控制。例如，由内窥镜捕获的视频显示在外科医生可以查看的屏幕上，从而允许外科医生实现对联接到臂的器械和臂自身的适当控制。所述数据也可用于教学和训练目的。数据可以与数据传送到外科医生控制台同时或稍后传递到附加的控制台，例如以用于显示，使得学生能够查看手术，例如由外科医生在手术期间采取的动作。数据可本地存储以供稍后传送。数据可以在医院内传送到数据服务器。数据可以传送到现场之外，即从医院的内部网络向外传送。数据可以使得能够在医院内部或由外部审查委员会从外部审查手术。
由手术机器人系统捕获的数据量可以足够大，使得用于传送数据的数据链路的数据带宽成为相关考虑因素。数据存储器大小也可能成为相关的考虑因素。当保存和/或传送数据时，本发明人已意识到，以不影响数据关键方面的保真度或质量的方式减少数据的数据量将是有利的。例如，虽然可以对整个数据简单地进行质量降级以减少数据量，但这会对使用该降级的数据的教学和审查过程产生不利影响。本发明人已认识到，需要选择性地修改数据以便更有效地实现保存和传送该数据。以这种方式修改数据可以减少数据大小和带宽要求。
本文描述了用于减少手术机器人系统中的数据流的数据量的方法和设备。可以在数据量修改系统处接收由手术机器人系统捕获的数据，例如，在执行手术时由系统生成和/或记录的数据。数据量修改系统适当地是手术机器人系统的一部分，但可以单独设置。数据量修改系统的特征检测器用于识别所接收的数据流中的指示手术程序中的事件的特征(例如以确定此类事件已发生)，以及在数据中该事件发生的位置或时间。然后，通过使用所接收的数据流和所识别的特征，使用数据修改器生成经修改的数据流。经修改的数据流具有小于所接收的数据流的数据量。
首先参考图5，其示出了用于自动修改与由手术机器人系统502执行的手术程序有关的数据的示例数据量修改系统500。手术机器人系统包括至少一个手术机器人，该至少一个手术机器人具有基座以及从基座延伸到用于器械的附接件的臂。该臂包括多个关节，由此可以改变臂的配置。下文参考图6描述示例手术机器人系统502。
数据量修改系统500包括接收器504、特征检测器506和数据量修改器508。接收器504、特征检测器506和数据量修改器中的一者或多者可以由一个或多个基于计算的装置，例如但不限于本文参考图8描述的示例性的基于计算的装置来实现。接收器504被配置成接收包括与手术程序有关的数据的数据流。接收器将所接收的数据流传递给特征检测器506，该特征检测器被配置成识别数据流中的特征。数据量修改器508被配置成根据所识别的特征和数据流生成具有小于所接收的数据流的数据量的经修改的数据流。将在下文更详细地描述经修改的数据流的生成。
由接收器接收的数据流可包括内窥镜视频数据，即由内窥镜510捕获的视频或图像。接收器504被配置成例如经由局域网512从内窥镜接收视频数据。局域网可包括HDMI接口、SDI接口和其它视频接口中的一者或多者。在某些情况下，接收器可以被配置成经由直接耦合从内窥镜接收视频数据，所述直接耦合可包括HDMI接口、SDI接口和其它视频接口中的一者或多者。局域网512适当地位于医院场所上。局域网可包括高容量数据网络。例如由于带宽限制，局域网可以有足够的容量从手术机器人系统传送数据，而无需进行数据节流。视频数据可能包括手术室本身的视频或图像—在内窥镜尖端通过端口朝向手术部位插入之前由内窥镜捕获。(术语“端口”可被视为包括物理端口和/或虚拟端口—如本文其它地方所述。)当内窥镜联接到臂时，内窥镜的视场可以被良好表征并可能被控制以避免捕获敏感数据。另一方面，内窥镜在被手动保持或安装到机器人臂时可能是可操作的，即捕获视频。在被手动保持时，视场可能包括在审查手术或用于教学目的时通常没有用的图像或视频。因此，传送和/或存储此类图像或视频可能浪费存储空间和/或数据带宽。
数据流还可以包括由麦克风514捕获的音频数据，该麦克风任选地形成手术机器人系统502的一部分。麦克风可以位于机器人臂处或邻近机器人臂，和/或位于手术机器人系统的控制台516处或附近。以此方式，麦克风可以捕获来自手术程序的音频，包括来自协助手术程序的手术室工作人员的音频，以及来自控制台的操作者(例如外科医生)的音频。接收器504被配置成例如经由局域网512从麦克风接收音频数据。音频数据可包括在手术之前进行的讨论，所述讨论可能与手术程序本身无关。因此，音频数据可包括在审查程序或用于教学目的时可能没有用的数据。传送和/或存储此类音频数据可能浪费存储空间和/或数据带宽。
数据流还可以包括遥测/远程信息处理数据和/或状态数据。状态数据可以指示手术机器人系统的至少一部分的状态。远程信息处理数据和/或状态数据可以由控制台516在实现对机器人的臂518的控制时产生。远程信息处理数据和/或状态数据可以由臂本身上的传感器产生，所述传感器是例如臂的关节传感器520，其被配置成感测每个臂关节的配置。额外数据可包括由诸如温度传感器、电流传感器(可从其导出电池电量)和/或加速度计的其它传感器捕获的数据。接收器504被配置成例如经由局域网512从手术机器人系统(例如，从控制台和/或从臂)接收远程信息处理数据和/或状态数据。远程信息处理数据和/或状态数据的全部或一部分可以由手术机器人系统502本身生成(例如，与手术机器人臂的位置和/或移动、附接到其上的器械，以及控制机器人臂的移动的任何手动控件有关的数据)。来自手术机器人系统的在手术程序开始之前生成的远程信息处理数据和/或状态数据可能与教学和/或训练目的无关。例如，可以在设置阶段捕获数据。该数据可能与手术的内部审查相关，但可能与教学或培训不太相关。因此，传送和/或存储所有远程信息处理数据和/或状态数据可能浪费存储空间和/或数据带宽。
由接收器504接收的数据可包括由局域网上的附加装置(例如，平板电脑、移动电话和专用医疗装置)传输的另外的数据。这些或其它装置可以被配置成传输数据包，可以在所述数据包中设置标记以定义或标记特定事件。例如，如果外科医生使用移动电话登录到控制台，该移动电话可以将指示登录事件的数据包传输到系统。另外的数据可包括患者生命体征数据(例如，心率、呼吸率)、医疗保健数据(例如，病史)、操作者数据(例如，操作者的身份、操作者在该会话中已操作的时长、进行的手术)、从机器人系统周围环境以及联接到机器人系统的设备捕获的数据或与机器人系统周围环境以及联接到机器人系统的设备有关的数据。
视频数据、音频数据、远程信息处理数据、状态数据和另外的数据中的每一者可被视为与由系统捕获的手术有关的数据的单独数据信道。数据信道彼此适当地进行时间同步。数据信道可以以任何合适的方式进行时间同步，以允许一个数据信道的特征或事件与特定时间或时间段和/或另一数据信道中的特定特征或事件相关联。例如，多个数据信道可以包括或链接到共同时间戳或共同时间表。
视频数据和/或音频数据可以包括多个信道数据。例如，视频数据可以包括适合表示3D图像的“右”信道和“左”信道。音频数据可以包括适合表示立体声音的“右”信道和“左”信道。在某些情况下，可能存在多于两个视频和/或音频信道。
可能期望通过减少视频数据、音频数据、远程信息处理数据、状态数据和另外的数据中的一者或多者的数据量来生成经修改的数据流。
特定信道的数据量可能会增加，但总体数据量仍会减少。这在其它地方更详细地描述。
适当地，生成经修改的数据流包括修改以下中的一者或多者。
·视频数据的至少一部分的视频清晰度。例如，可以修改视频数据的相对较高清晰度(例如，超高清晰度)部分，以将清晰度降低到相对较低的清晰度(例如，高清晰度或标准清晰度)。
·视频数据的至少一部分的视频信道的数目。例如，可以通过省去两个视频信道中的一个来将3D数据修改为2D数据。
·视频数据的至少一部分的成像模式的数目。例如，在高光谱成像中，图像数据集可以在多个波长范围处捕获。可以省去这些图像数据集合中的一个或多个。
·视频数据的至少一部分的帧速率。所接收的数据流可包括相对较高帧速率(例如，60Hz)的数据。经修改的数据流可被修改为包括相对较低帧速率(例如30Hz)的数据的一部分。
·图像帧序列中的帧的数目。可以从视频流捕获图像或帧的子集，并且传送图像或帧的该子集来代替视频流。例如，可以从视频流捕获静态图像，并且传送该静态图像代替视频流。这可在视频流中的图像数据随时间推移不变化或变化极小的情况下是有用的。子集可包括以2到9个帧(优选2或3个帧)的次序排列的小数目的帧，其可以周期性地从视频流捕获。帧可以是连续的或非连续的，例如序列中的帧1、2、3或序列中的帧1、3、5(其他非连续的帧组是可能的)。子集可在给定时间段内一次捕获。时间段可以是1秒、5秒、10秒、15秒、20秒等。视频流中的其余帧可以被丢弃。(当帧速率为60Hz时，每秒捕获3个帧将导致剩余的57个帧被丢弃。)适当地，所捕获的帧的子集足以获得变化率信息和位置信息。捕获非连续帧可以帮助使帧之间的变化更加明显。要捕获的帧的数目可取决于特征或事件。这些实例可以被视为帧速率的替代修改。
·视频数据的至少一部分的色域。经修改的数据可以被修改，以便减少数据流的一部分的调色板或色域。例如，彩色视频可以被修改为黑白视频。
·机器人系统的状态的表示。可以保留与机器人系统的状态变化有关的数据，其代替与在机器人系统的状态在其间不改变的多个时间点处的机器人系统的状态有关的数据。
·音频数据的至少一部分的音频清晰度，例如通过降低音频数据的频率范围；
·数据信道组中的数据信道的数目，例如通过在经修改的数据中省去一个或多个数据信道。
所述方法可包括修改所接收的数据流，使得经修改的数据流包括以下中的一者或多者。
·视频数据中的已知形状的线框模型，其代替与该已知形状有关的完整视频数据或图形渲染数据。
·视频数据中的结构的描述，其代替与该结构相关的完整视频数据。所述结构的描述可以包括解剖结构、器械和末端执行器中的一者或多者的描述。
·绝对位置和/或相对位置的描述以及速度和/或移动轨迹的描述，其代替完整视频数据或完整远程信息处理数据。
·所接收的数据流的下采样部分，例如下采样的音频/视频。
·所接收的数据流的带通滤波部分。
·所接收的数据流的减量部分。例如，可以丢弃一系列数据点中的每10个数据点。可以保留较小比例的数据点。在另一实例中，可以保留十分之一的数据点，并且可以丢弃剩余的9个数据点。
·所接收的数据流的量化部分。此类方法可包括使用离散余弦变换和小波变换。
·使用第二编码方案编码的数据代替使用第一编码方案编码的数据。第一编码方案可以是视频流，并且第二编码方案可以是坐标系的转换和/或手术事件的描述(例如，以英文)，其可以基于标准手术本体论。
数据流可以通过或由手术机器人系统传输，例如通过或由手术机器人系统的机器人臂传输。因此，数据流可以在数据量修改系统处从机器人系统的臂接收。适当地，数据流包括来自手术机器人系统的数据馈送，例如来自机器人系统的臂的数据馈送。
接收器504可以通过任何合适的手段接收与手术程序有关的数据流。例如，在一些情况下，手术机器人系统502可以经由无线或有线通信连接512向接收器504提供数据，所述通信连接是例如但不限于以太网连接、
Figure BDA0003465318700000111
Figure BDA0003465318700000112
连接、
Figure BDA0003465318700000113
连接、近场通信(NFC)连接、HDMI连接、SDI连接、其它视频接口连接等。在这些实例中，数据的全部或一部分可以在正在执行手术程序时实时(或基本上实时)地提供给接收器504。
在其它情况下，与手术有关的数据可以在手术期间由另一装置(例如，基于计算的装置)捕获，并且存储在存储装置524(例如，存储器)中，并且随后经由通信连接512或通过任何其它合适的手段提供给接收器504。在某些情况下，数据的全部或一部分可以在执行手术的位置(例如，手术室)处存储在便携式存储介质(例如但不限于，USB(通用串行总线)记忆棒或SD卡)上，并且物理地传输至接收器504的位置，在此，便携式存储介质联接到接收器504，使得接收器504可以从便携式存储介质读取数据。
特征检测器506被配置成在数据流中识别指示手术程序中的事件的特征。事件可包括手术的任何期望方面，例如手术的阶段或外科医生或手术室工作人员的另一成员采取的动作。事件可以表征系统是夜间运行还是每周7天每天24小时运行。事件可以表征系统是否以及何时进行维护以及该维护的性质。
例如，事件可包括识别缝合程序、烧灼程序、抓握程序、切割程序、将一个或多个器械的末端执行器移动到手术部位的所需位置的程序、吹气程序等的开始和/或结束。
事件可包括识别联接到系统的器械的操作状态和/或系统的操作状态。例如，系统可以处于一组模式中的一种模式。所述一组模式可包括器械可附接到系统的设置模式，但外科医生对器械的操作控制在该模式下可能未启用。所述一组模式可包括手术模式，在该手术模式下，附接到系统的器械可以可操作地联接到外科医生的控制台，从而允许外科医生实现对器械的控制。因此，事件可包括识别系统何时进入和/或离开特定模式，例如手术模式。当确定器械未处于操作状态，例如，器械未由外科医生主动地控制和/或器械未可操作地连接到控制台时，对应数据部分可被指示与手术无关，且不需要完全保留。可以使用遥测数据或根据视频图像分析进行此类确定。
事件可包括识别数据流的任何其它期望方面或特征。例如，如本文其它地方更详细地讨论的，系统可以被配置成检测器械的一部分(例如，该器械的末端执行器)何时穿过端口朝向或远离手术部位。所述系统可以被配置成检测内窥镜何时通过端口朝向手术部位插入或远离手术部位从端口抽出。此类检测可基于数据流的方面，例如视频数据(例如，来自对视频数据的分析，例如视频数据的颜色或颜色变化、视频数据的强度/亮度或强度/亮度变化、跟踪视频数据中的对象、跟踪视频数据的识别的部分的变化—有关更多详细信息，请参见本文其他地方)。
所识别的特征可以指示臂和/或附接到臂的器械的配置，和控制台的控制状态中的一者或多者的值或变化。所识别的特征可以指示在视频数据、传感器数据(包括扭矩数据、加速度计数据、温度数据、电池电压数据等)和由外部连接系统报告的数据中检测到的特征中的一个或多个。
所述特征可以根据对本文所述的事件中的任一个或任何组合的检测来识别。
所识别的特征可以指示手术程序或手术程序的特定方面或阶段的开始和/或结束。并非在所有情况下都需要在手术开始前或在手术结束后完全准确地保存或传送所有数据。因此，可以修改数据流的除了正在执行手术之外的部分以减少数据流的数据量。可以在不丢失与手术本身有关的数据的情况下执行此类修改。事件可以指示手术程序的开始。例如，事件可包括检测到内窥镜已通过端口朝向内部手术部位插入。另一事件可以指示手术程序的结束，例如，该事件可包括检测到内窥镜已从端口移除。可能期望保留关于手术的完整数据，例如两个事件之间的时间段，并且减少该时间段之外的数据流的数据量。
在某些情况下，可能只有一部分手术是相关的。例如，当手术包括电烧蚀步骤，并且数据流被保存为电烧蚀教材的一部分时，不必保存或传送手术的与电烧蚀步骤无关的其它方面的全部详细信息。因此，可以修改数据流的与电烧蚀步骤无关的部分，以减少这些部分的相关联数据量。
减少数据流的数据量的一种方法是识别数据流的期望保留完整数据质量的一个或多个部分，并且修改数据流的其它部分以减少这些其它部分的数据量。另一种方法是识别数据流的不需要保留完整数据质量的一个或多个部分，并且修改这些识别的部分以减少这些部分的数据量。
举一个例子，考虑内窥镜视频。由于内窥镜附接到机器人臂，在其通过端口插入之前，其将捕获手术室的视频(即，来自术野外部的视频)。此视频可包括与审查或训练具有较低相关性的数据。一旦内窥镜通过端口插入，该内窥镜将捕获内部手术部位的视频(即，来自术野内部的视频)，其更有可能与期望保留以用于审查或训练的数据相关，即，此类数据很可能具有较高相关性。将保持这种情况，直到内窥镜从端口缩回(当视频将从术野内部转变到术野外部时)，当其再次开始捕获手术室的视频时，数据再次具有较低相关性。因此，“相关”数据可包括在通过端口插入内窥镜与从端口缩回内窥镜之间捕捉的视频，即目标操作场的视频，并且适当地没有其它内容。因此，此方法可涉及确定何时通过端口插入内窥镜以及何时从端口缩回内窥镜，以及完全保留在这些识别的时间(即，何时通过端口插入内窥镜)之间捕获的视频数据的任何部分的数据流。可以移除或以其他方式修改在其它时间(即，在内窥镜未通过端口插入时)的数据流中的数据，以便减少数据流的数据量。
可以使用第一方法和第二方法的组合。
响应于识别数据流中的特征，特征检测器506可以被配置成生成指示以下的一者或多者的输出：
·已检测到特征，
·检测到的特征的类型，
·特征的时间(即，该特征发生的时间)，
·数据流的与特征相关的部分(例如，静止或视频图像的一部分，或图像序列的连续部分，或更一般地，数据通道中的包括该特征的数据信道)，以及
·特征的持续时间。
输出被提供给数据修改器508。
数据修改器被配置成从特征检测器接收输出，并且通过任何合适的手段，例如从接收器接收数据流。数据修改器还可以被配置成通过局域网512接收数据流。数据修改器被配置成基于所接收的数据流和所识别的特征生成经修改的数据流。经修改的数据可保存到本地或远程存储器，例如存储装置524。经修改的数据可通过诸如互联网的远程网络526传输。经修改的数据可以通过任何合适的方法，例如通过有线链路或通过与连接到远程网络的本地接入点的无线连接传输。
数据量修改系统500可以远离手术机器人系统502。例如，手术机器人系统502可以位于手术室中，并且数据量修改系统500可以在医院或治疗中心的另一房间中。在其它情况下，数据量修改系统可以与手术机器人系统集成，例如在控制台处。
适当地，数据量修改系统500被配置成实时(或基本上实时)地处理数据流。数据量修改系统可包括用于暂时存储所接收的数据流的存储器528，例如缓冲存储器。数据修改器508可以从存储器528读取所存储的数据流。(基本上)实时地处理数据流使得也能够实时地(或基本上实时地)通过远程网络传输经修改的数据。经修改的数据可以传输至位于云中的服务器，例如，传输至服务器处的辅助模块。辅助模块可以分析经修改的数据以提取性能或其它度量，和/或响应于分析生成建议或意见。所述建议可包括关于在特定手术中采取的下一步、如何最有效地执行给定步骤的建议，关于正在执行的手术或正在执行的手术中的步骤的意见等。此建议可由远程服务器通过远程网络526提供给手术机器人系统502，例如提供给显示器530。以此方式，操作手术机器人系统的外科医生可以在对患者执行手术时(基本上)实时地接收建议/意见。
以此方式，数据量修改系统使得能够使用基于远程的辅助模块来增强外科医生正在执行的手术。在某些情况下，可以将经修改的数据发送至远程定位人员，例如另一外科医生。通过这种方式，经验较多的外科医生可以向经验较少的同事提供及时的建议，而不需要在同一位置。
在一些情况下，如由接收器接收的数据流在生成经修改的数据流同时实时地呈现给手术机器人系统的操作者(例如，外科医生)。这可以帮助避免生成经修改的数据时的延迟问题影响手术的执行。
适当地，所接收的数据流在被保存或传送到远程位置，例如远离执行手术的手术室(或医院)的位置之前被修改。数据流可在被保存到本地存储装置，例如存储装置524之前被修改。存储装置可以存储未经修改的数据流和经修改的数据流。
适当地，手术机器人系统的操作者，例如外科医生，或医院的工作人员的另一成员能够控制数据或经修改的数据是否被保存和/或传送。因此，数据量修改系统可以向用户呈现在本地保存数据流的选项。数据量修改系统可以向用户呈现将经修改的数据流保存和/或传送到本地位置或传输到远程位置的选项。以此方式，诸如外科医生或医院工作人员的另一成员的用户对使用数据或经修改的数据的方式进行监督。
数据量修改系统可包括压缩模块532，该压缩模块被配置成在生成经修改的数据流时压缩数据流的至少一部分。压缩模块可以设置在数据修改器508处或设置为数据修改器的一部分。压缩模块可以被配置成当内窥镜未通过端口插入时压缩所接收的数据(例如，通过压缩所接收的数据的视频信道，任选地以及所接收的数据的另外数据)。压缩模块可以任何合适的方式，例如通过使用常规压缩算法(例如有损压缩算法)压缩数据。因此，经压缩的数据可比未压缩的数据具有更小的数据量。
在某些情况下，可以用不同压缩水平压缩所接收的数据的不同分段或章节。例如，可以基于数据流的一个或多个特征(或更一般地，与手术程序有关的信息)对数据流分段。以此方式，可以根据臂的配置、附接的器械的类型和/或其操作状态、机器人系统的操作状态、手术中的阶段、控制机器人的外科医生等中的一者或多者对数据流分段。手术的每个阶段或阶段组可以与不同压缩水平相关联。这可以使得不同阶段之间的数据量的减少不同。
数据量修改系统可包括水印模块534，该水印模块被配置成将“水印”添加到所接收的数据流和经修改的数据流中的一者或两者。水印模块可以设置在数据修改器508处或设置为数据修改器的一部分。水印可包括数字签名和/或指纹。水印可以这样的方式添加到数据中，使得水印的至少一部分可以被认为是“隐藏的”，即水印(或水印的隐藏部分)已被添加不一定是显而易见的。这可以降低水印(或水印的隐藏部分)被第三方故意移除的风险。例如，水印模块可被配置成通过以下中的一者或多者来施加水印：在数据的最低有效位中对水印进行编码；对水印进行编码作为执行关于数据的离散余弦变换的一部分(例如，在压缩数据时)；使用小波变换对水印进行编码；使用扩频技术对水印进行编码；使用频率和/或时间掩蔽对水印进行编码等。
水印模块可以被配置成在修改数据时添加水印。在其它实施方式中，水印模块可以被配置成例如在进一步修改过程中，当经修改的数据要被远程传送时向经修改的数据添加水印。因此，水印模块不需要设置为数据量修改系统的一部分，而是可以单独设置。例如，水印模块可以例如通过联接到存储经修改的数据的数据存储器524来访问经修改的数据。当经修改的数据要被远程发送时，水印模块可以被配置成在传送之前在该阶段添加水印。与经修改的数据的预期接收者和/或预期用途有关的详细信息可以包括在水印中。
设置水印模块使得能够跟踪和/或识别数据(例如，传送到远程服务器的经修改的数据)。例如，水印可包括对以下中的一者或多者的识别：执行手术的医院；执行手术的外科医生/手术团队；用于执行手术的机器人系统(其可以由控制台、机器人臂和器械中的一者或多者的唯一序列号识别)；手术类型；执行手术的日期/时间；负责授权发布数据的人员；发布的数据的到期日期等等。任何期望的元数据可以包括在水印中。因此，加水印的经修改的数据可以追溯回到执行手术的医院。因此，在审查经修改的数据时，可以将(可能在不知道水印中包含的详细信息的情况下进行的)审查的任何结论或结果反馈给相关医院/外科团队。
水印可包括已发布的经修改的数据的使用的指示。例如，可以发布针对特定手术的经修改的数据以用于审查该手术，但无权用于教学—这可能是例如因为该手术仍然是实验性的。水印模块可以被配置成添加指示数据可用于审查(可能用于由选定接收者审查，该接收者可以是个人或医院)的水印，以及数据被发布到的个人/组织的详细信息。如果随后发现该数据被另一个人使用，或用于另一用途，则可以根据水印确定发布通道和原始授权用途。出于这些目的，如果此类信息包含在水印的隐藏部分中，从而不会(或不能)被故意移除，则可能很有用。
在某些情况下，在数据流被分段的情况下，可以将不同的水印施加到不同的分段或分段组。这可以出于几种原因进行，包括因为使用不同的器械(因此水印中的器械ID可能不同)，因为不同的外科医生执行手术的该部分(因此水印中的外科医生ID可能不同)，因为一个分段与另一分段被发布的目的不同(因此水印中的与接收者/使用目的等有关的详细信息可能不同)。
当数据存储在本地数据存储器524和/或远程数据存储器处时，此类数据可以保留给定时间量。为了满足法律或法规要求，可能需要将数据保留最少时间量。适当地，所述数据与指示将保留数据的时间长度的生命值，和/或指示可删除数据的日期的到期日期相关联。所述系统可以被配置成一旦达到生命值或到期日期就自动删除数据。例如，医院可能有将来自手术机器人手术的数据保留一定天数(例如7天)的政策。因此，生命值可以设定为7天。一旦从完成手术起7天到期，可以自动地从本地和/或远程存储器中删除与该手术有关的数据。代替自动删除数据，用户可以接收确认删除数据的提示。
在某些情况下，数据量修改系统可以被配置成一旦达到生命值或到期日期就自动修改数据。以此方式，当数据流在未被修改的情况下被保留时，其可在对应于生命值(或直到到期日期)的一时间段内可用。在此时间期间，可以例如在进行手术的医院内本地审查完整数据。此类审查可以由执行手术的外科医生和/或手术团队进行。可以适当地选择生命值/到期日期，以便保留完整数据的持续时间足够长，从而可以对完整数据执行标准术后审查。例如，当医院政策规定在手术的7天内执行此类审查时，生命值可设定为7天。然后，可以在该时间段结束时自动修改数据，并且经修改的数据流可以在更长的时间段内保持可用。
在某些情况下，数据流可以与第一生命值(或第一到期日期)相关联。此生命值可以确定完整数据保持可用的时间长度。在此时间段结束时，数据可以由数据量修改系统修改。经修改的数据(以及任选地数据流)可以与第二生命值(或第二到期日期，晚于第一到期日期)相关联。此第二生命值可以确定经修改的数据保持可用的时间长度。例如，第一生命周期可选择为3天，并且第二生命周期可选择为14天。在本实例中，完整数据可以在手术后保存3天。在此时间期间，可审查完整数据。3天后，数据被自动修改。经修改的数据保留另外14天，之后被自动删除。可以根据需要选择其它时间段。第二生命值(第二到期日期)可以指示经修改的数据永远不被自动删除。代替被自动修改/删除的数据，可以在相关阶段提示用户修改和/或删除数据。这种提示可确保授权人员仍负责数据的管理。
完整数据通常保留在本地。在某些情况下，经修改的数据可以保留在本地。在某些情况下，经修改的数据将被远程保留。在修改之后，所述系统可以被配置成将经修改的数据传送到远程存储器，并且从本地存储器删除数据。因此，在此类情况下，完整数据可以在预定时间段内在本地可用，之后经修改的数据可以在另一预定时间段内远程可用。
在某些情况下，一旦数据流到期或到达其生命周期的结束，则可以在删除之前自动地对其进行修改。以此方式，对删除的数据的任何恢复将显示经修改的数据而不是所接收的数据流。在某些情况下，数据流或经修改的数据流可以在删除之前加水印(或进一步加水印)。水印适当地指示数据将被删除。因此，如果恢复了删除的数据，则可以确定该数据是有意删除的。在某些情况下，用于重放数据的重放系统可以被配置成防止重放有水印的数据，所述水印指示该数据已被删除(或要被删除)。
现在参考图6，其示出了示例手术机器人系统502。在此实例中，手术机器人系统502包括由控制单元606驱动的两个手术机器人602、604。控制单元606从操作者控制台610(例如但不限于，图2的操作者控制台200)接收输入608，包括来自第一手动控件612和第二手动控件614的输入。控制单元606可以从操作者控制台610接收其它输入，例如脚踏板输入、语音识别输入、手势识别输入、眼睛识别输入等。控制单元606还从手术机器人602、604接收输入616。这些输入包括来自位于机器人臂关节上的位置传感器和扭矩传感器的传感器数据。控制单元606可以从每个机器人接收其它输入616，例如力反馈、来自手术器械或关于手术器械的数据等。控制单元606响应于其从机器人602、604和操作者控制台610接收的输入而驱动机器人602、604。控制单元606包括一个或多个处理器618和存储器620。存储器620以非暂时性方式存储可由一个或多个处理器618执行以控制驱动器的软件代码。
虽然图6的示例手术机器人系统502包括两个手术机器人，但所属领域的技术人员将显然明白，本文所述的方法和技术同样适用于仅具有一个手术机器人的手术机器人系统和具有两个以上手术机器人的手术机器人系统。
以上描述描述了包括多个信道的所接收的数据流中的可识别事件的实例，对事件的识别可使得数据流被修改。在这种情况下，可以识别给定数据信道(例如，视频数据)中的特征，并且作为响应，数据修改器可以修改相同数据信道(视频数据)中的数据。在某些情况下，可以识别一个数据信道中的一个或多个特征，并且作为响应，数据修改器可以修改一个或多个其它数据信道中的数据以及或而不是识别特征的数据信道中的数据。
可识别事件可包括手术机器人系统的状态，或根据手术机器人系统的状态确定。手术机器人系统的状态(即，包括系统的至少一部分的状态的状态数据)可包括器械的附接状态、器械的操作状态、机器人的操作状态、臂和/或附接到臂的器械的配置，以及控制台的控制状态中的一者或多者。
当诸如内窥镜的器械未附接到臂时，数据流中的数据很可能与外科手术的执行无关，因为手术很可能不会在此时间点开始。因此，内窥镜的附接状态可以被视为指示手术中的事件的特征—此处，手术本身很可能在内窥镜未附接的情况下尚未开始。因此，识别此类特征，在此实例中是内窥镜未附接到臂，意指内窥镜在此状态下捕获的视频数据可被标记或以其它方式指示为由数据修改器修改以减少视频数据的该部分的数据量，例如，因为它可能与审查和/或教学目的不太具有相关性。在此实例中，特征(内窥镜的附接状态)将在内窥镜未附接的整个时段内被检测到。因此，可以在特征可识别的时段内修改数据流，例如直到内窥镜附接到臂。
可识别特征可包括将内窥镜附接到臂(即，附接内窥镜的事件，而不是内窥镜附接/保持附接的状态)。因此，在此类情况下，不一定是始终存在特征以便修改数据的情况。在此类情况下，在确定内窥镜与臂的附接发生时，将得知在内窥镜未附接到臂时捕获了前面的数据流。响应于确定此类特征，数据修改器可以修改该特征之前的数据。在附接事件之前有分离事件(即，内窥镜在重新附接到臂或者附接到另一臂之前与该臂分离)的情况下，可以将两个事件识别为特征，响应于所述特征，数据修改器可以被配置成修改特征之间的数据流(事件的发生)。以此方式，数据修改器可在内窥镜未附接到臂的时段内修改视频数据。经修改的数据流将比所接收的数据流具有更小的数据量，因为修改的部分将比未修改的部分具有更小的数据量。这有益地使得能够节省数据存储器(在经修改的数据流代替未修改的数据流被保存时)和/或数据带宽要求(在经修改的数据流代替未修改的数据流被传送时)。
上述情况是数据修改器响应于识别另一数据信道中的特征而修改一个数据信道的实例。此时，在状态数据中识别特征，并且视频数据被修改。
器械的操作状态可以指示手术工具当前是否正被外科医生控制。例如，当抓握器工具附接到臂时，工具的操作状态可以指示抓握器工具是否被激活，即是否正被外科医生移动/使用。由于外科医生除非看到手术部位，否则将不会使用所述工具，因此可以确定当附接到机器人的臂的至少一个工具处于主动控制下时，内窥镜将捕获手术部位的图像，并且因此将位于患者腔内。因此，在工具处于操作状态时，此类特征可以指示后续视频数据与正在进行的手术程序有关，例如，数据与审查和/或训练具有相关性，并且应被完全保留。响应于此类特征的识别，数据修改器可以被配置成修改所接收的数据流中的先前数据。也就是说，在工具进入操作状态时，可以确定与先前状态(例如，不操作状态)有关的数据不太具有相关性，因此可被标记为要被修改以减少其数据量，而这不影响数据流的与手术本身有关的数据部分的数据质量，或对审查和/或训练目的可能具有较大的重要性。
机器人的操作状态可用于例如通过指示内窥镜是否通过端口插入来表征数据流中的数据或对所述数据分段。机器人的操作状态可包括机器人系统或控制台的模式。机器人系统可以初始化为或处于“端口训练”模式。在此模式下，器械(可以是内窥镜或其它类型的器械，例如抓握器器械)可以附接到臂，并且部分地定位在端口(端口可以是虚拟端口，即，不必是物理端口—这在下文更详细地讨论)内。可以通过用户推动臂以使得系统能够确定端口的位置来移动臂。以此方式，所述系统可建立虚拟枢轴点(VPP)的位置，器械在通过端口插入时被限制围绕所述虚拟枢轴点枢转。然后，所述系统可以移动到“器械调整”模式，在该模式下，器械可以通过端口朝向可以开始对器械的手术控制的位置进一步插入。例如，在器械是内窥镜的情况下，可以插入器械，直到器械的尖端(其可以容纳内窥镜成像装置)邻近所需的手术部位定位。在其他情况下，可插入器械，直到该器械的末端执行器在位于手术部位处的内窥镜的视场内。所述系统可以在器械调整模式与可由操作者(例如外科医生)实现对器械的控制的“手术”模式之间移动。适当地，所述系统还可以在手术模式与可移除和替换器械的“器械更换”模式之间移动。当所述系统处于手术模式时，可以确定内窥镜通过端口插入。因此，在某些情况下，当系统处于手术模式时，数据流可以被指示为“更相关”(例如，更可能包括与审查和/或训练以及其它用途具有相关性的数据)。在其它时间(当系统处于其它模式时)，所捕获的数据可包括非手术数据(例如手术室的视图)，其还可包括患者的视图。因此，数据修改器可以修改在进入手术模式之前捕获的数据和/或在系统已退出手术模式之后捕获的数据。
如上所述，端口可以包括虚拟端口。在某些情况下，端口包括物理端口，器械可通过该物理端口。在某些情况下，端口可以是“虚拟端口”—不需要存在物理端口。例如，当器械要通过患者孔口(例如，患者的鼻孔或口)插入时，情况可能如此。虚拟端口可以类似于上述方式定义。例如，诸如内窥镜的器械可以至少部分地通过虚拟端口插入(例如，插入患者的鼻孔中)并且由用户移动臂以使得系统能够确定虚拟端口在空间中的位置。这样，系统可以建立虚拟枢轴点(VPP)的位置，器械在通过虚拟端口插入时被限制围绕所述虚拟枢轴点枢转。
在一些情况下，手术机器人系统的状态可包括臂和/或附接到臂的器械的配置。这可以提供关于器械/臂如何定位的信息，可以根据该信息确定是否可能例如正在执行手术和/或内窥镜是否插入患者腔中。
手术机器人系统的状态可包括是否设置用于器械(例如，内窥镜)的虚拟枢轴点(VPP)。设置VPP可指示器械通过端口插入。所述系统可以基于(例如，来自臂运动学)对VPP的位置以及末端执行器和器械的器械轴的位置的了解来确定器械是否通过端口插入。手术机器人系统的状态可包括器械或器械的一部分的位置和/或移动，例如，器械的尖端是否在患者腔内，或该尖端是否已穿过端口或与该端口相关联的限定的VPP。
在某些情况下，外部源可以指示系统的状态。例如，端口可包括器械传感器，该器械传感器被配置成感测器械或器械的特定部分何时穿过端口。器械传感器可包括被配置成对器械进行磁性感测的磁传感器。例如，器械传感器可包括霍尔效应传感器。器械可以至少部分地为磁性或磁化的。器械尖端可包括用于由霍尔效应传感器感测的磁体。
应理解，可能存在确定相同事物(例如，内窥镜尖端是否插入患者腔内)的不同方式。数据修改器可以被配置成根据所识别的特征中的任何一个或任何组合来修改数据流。以此方式，数据量修改器系统可以冗余操作，以更好地确保即使在系统故障可能导致不准确地确定或识别一个特征的情况下所接收的数据流的一个或多个部分被修改的准确性。这可以通过帮助确保所接收的数据流的仅期望被完全保留的那些部分不被修改(例如，因为它们在临床上最相关)，而数据流的其它部分被修改，来帮助减少经修改的数据流的数据量。数据流的其它部分可以被更大或更小程度地修改。例如，可以修改所接收的数据流的不同部分，使得未修改的数据量与经修改的数据量的比率在被修改的不同部分之间不同。可以根据所识别的特征来选择修改数据的量，即修改的数据量与未修改的数据量的比率。
在一些实施方式中，可识别特征包括以下中的一者或多者，或根据以下中的一者或多者来确定。
(i)视频数据是否包括增长或缩小的圆。
当内窥镜朝向手术部位通过端口时，端口圆周将在内窥镜视频中显示为扩展超出屏幕边界的圆。当内窥镜从端口缩回时，端口圆周将在内窥镜视频中显示为从屏幕边界外收缩的圆。当内窥镜远离端口移动时，该圆可在一侧离开内窥镜的视场。因此，例如通过图像识别检测视频图像是否包括扩张圆和收缩圆中的一者或其它(或两者)可以使得能够检测内窥镜尖端是否向内或向外(或两者)穿过端口。因此，确定此特征可以使得数据修改器能够确定内窥镜尖端是正转变到术野中还是正转变离开术野。因此，此确定可以使得数据修改器能够相应地生成经修改的数据。在内窥镜插入之前和/或内窥镜缩回之后捕获的数据可被修改以减少其数据量。这些事件之间的数据可以指示为具有相对较大的相关性并且不被修改。
(ii)视频数据是否包括端口识别特征。
端口可以用视觉指示器标记，所述视觉指示器可以由图像检测模块检测。在检测到此视觉指示器时，可以确定内窥镜尖端已通过端口。可以基于视觉指示器在视频数据中移动的方式和/或基于内窥镜的先前状态是“插入”还是“缩回”来确定内窥镜通过端口的方向。
(iii)图像白平衡、图像谱和从图像的中心到边缘的图像梯度中的一者或多者的度量，和/或图像白平衡、图像谱和从图像的中心到边缘的图像梯度中的一者或多者的度量的变化，
与从手术室捕获的视频数据相比，从手术部位捕获的视频数据很可能红得多。从手术部位捕获的视频数据很可能具有比从手术室捕获的视频数据更大的从中心到边缘的图像梯度。因此，图像(或一系列图像)的这些度量中的一个或多个可以指示内窥镜是否插入。在某些情况下，一个或多个度量(例如在视频帧序列中的帧之间)的变化可用于确定已发生转变。例如，当序列中的较早帧比序列中的较晚帧具有更低的红色含量时，可以确定已经发生了从手术室的视频(术野外部)到患者腔的视频(术野内部)的转变。
图像谱的度量可包括在可见光谱内、可见光谱外，或可见光谱内和可见光谱外两者获得的度量。例如，图像谱可以跨越可见光谱。适当地，图像谱包括光谱的红外部分和紫外部分中的一者或多者。图像谱的度量可包括跨越多个带宽获得的度量，所述多个带宽是例如可见带宽、紫外带宽和红外带宽中的两者或更多者。在一些情况下，当帧之间的UV光水平下降时，可以确定已经发生从手术室(其中可能存在更多/更明亮的UV源)到患者腔的转变。帧之间的IR光水平的增加可类似地指示已经发生从手术室到患者腔(其中可能存在相对较高的IR发射)的转变。
帧可以是序列中的连续帧，或者它们可以由一个或多个其它帧间隔开。可通过比较在时间上彼此间隔开例如30秒的帧来粗略确定到术野中或离开术野的转变。如技术人员显而易见的，可以使用任何其它合适的时间段。一旦已识别在指定时间段内发生的转变，就可以比较由较小的时间段分隔的帧。在某些情况下，可以在一系列连续较小的时间分隔处比较帧。例如，30秒，然后10秒，然后2秒，然后0.5秒。可以使用更大和/或更小的时间分隔值。可以使用更多或更少的不同时间分隔。以此方式，可以迭代方式以较低的处理成本和/或时间实现更精细的确定。
所述度量可包括图像的包括相对更红的光、相对较少的UV光、相对较多的IR光等中的一者或者的比例增大。这可以指示内窥镜正接近端口或患者腔。以此方式，所述度量可以是所捕获的视频从术野外部转变到术野内部的指示。相反情况也可以成立：在度量包括图像的包括相对更红的光、相对较少的UV光、相对较多的IR光等中的一者或多者的比例缩小的情况下，可以确定内窥镜正从术野内部转变到术野外部。
该度量可包括一个或若干给定频带中电磁辐射的吸收的度量。例如，吸收的度量(例如差分吸收)可用于检测患者组织。这可以指示内窥镜在患者腔内，或者可能指示患者在视场中可见。该度量可以与不同度量(例如系统的状态)一起使用，以识别正被查看的组织(可选地包括所识别的组织是内部的或外部的)。
图像白平衡、图像谱和/或图像梯度的度量可包括图像的平均值。
(iv)视频数据是否包括解剖特征。
可以分析视频数据以确定在视频数据内显示的对象。在例如检测到内部解剖结构(例如，血管或内部器官)的情况下，系统可以确定内窥镜在术野内部。数据修改器可以选择性地修改视频数据的未被定义为在术野内被捕获的部分。因此，当视频段包括内部器官的图像时，视频段可以被标记为更可能与手术相关并且因此不被修改。例如，通过还考虑图像谱的度量，可以进行进一步的检查，以确保所识别的器官当时的确在患者内部。
可以检测指示内窥镜在术野外部的解剖特征。例如，对视频数据的分析可以确定视频数据包括患者的腹部或手臂的外部视图。在此类情况下，视频数据的相关部分可标记为与手术程序相对不太具有相关性(例如，在腹部占据整个视野的情况下)。
(v)视频数据是否包括已知在术野外部的对象。
当视频数据分析确定手术室中的物体(例如，手术台、机器人臂、心跳速率监视器等)可见时，可以确定内窥镜在术野外部并且正在从手术室本身捕获视频。视频数据的此类部分可能被标记以用于修改。在已知对象(例如，手术台的支腿)占据整个视场的至少一部分时，视频数据可以被标记以用于修改。
(vi)正在执行的手术。
对于不同的手术，形成视频数据的视频很可能包括不同的特性。例如，在手术中从端口插入/移除内窥镜的次数、插入时段的持续时间、在插入时段期间可见的手术部位等。基于对正在执行的手术的特征的识别可以使得视频数据的视频分析能够知道预期什么，或者大致预期什么。这继而可以使得能够以更高的准确度检测或识别视频中的特征。
(vii)一种机器学习系统，其已经使用一个或多个已知特征训练过。
操作者可以向系统指示数据流中何时存在特征，并且此指示可以传递到机器学习系统，该机器学习系统可以从输入指示中学习以便能够识别其它数据中的相同或相似特征。机器学习系统可包括卷积神经网络。机器学习系统可包括递归神经网络。
在某些情况下，可识别特征可包括与数据流的一部分相关联的标记。标记可以形成数据流的一部分，例如，标记可以在手术期间或之后的某个点被添加到数据流中。数据流的一个或多个数据信道可包括标记。例如，视频数据可以包括标记。标记可以采用任何合适的形式，其可以取决于与该标记相关联的数据信道或该标记形成其部分的数据信道。在某些情况下，标记可以是添加到视频流的增强。可以在捕获视频时或在捕获视频后的某个点添加增强。标记可以指示本文所述的一个或多个其它特征(例如，手术中的阶段、内部器官的可见性、系统的状态等)的存在。标记可以指示状态或者朝向、远离本文所述的其它此类特征或在其它此类特征之间的转变(例如，视频是否在术野内部、术野外部等捕获)。
可以有效地使用这些特征的组合。例如，检测到圆在图像中扩展，随后图像的红色增加，可用于确定内窥镜尖端已通过端口插入。特征的组合可以有利地提高进行此类确定的准确性。
已在上文关于图4描述了示例内窥镜。其它类型的内窥镜可以与本发明技术一起使用。此类内窥镜包括“片上尖端(chip-on-tip)”型内窥镜，其中内窥镜可被视为探针，摄像头可安装在探针的端部处。摄像头可以采用芯片(例如，CCD芯片)，以及任选地一些相关联的处理逻辑(可以单独地提供至少一些处理逻辑)的形式。参考图4描述的内窥镜与外部光源一起操作。还可以使用与内部光源一起操作的内窥镜。例如，光源可以设置为内窥镜本身的一部分，并且光路由到期望的光输出位置。光路由可由一个或多个光纤电缆来实现。在一些情况下，光源可以设置在内窥镜的尖端处或附近。此类光源可包括LED。可提供多个LED。可以控制光源，无论是内部光源、外部光源或内部光源和外部光源的某种组合，以便改变光输出的强度和/或光输出的频率。
在一些情况下，内窥镜可以设置有光源(或更一般地，照明源)，该光源被配置成输出可见范围之外的光(或更一般地，电磁辐射)。适当地，照明源被配置成输出跨光谱的电磁辐射。光谱可包括可见光、紫外光和红外光中的一者或多者。
修改数据可包括从数据流移除时间切片，或者模糊化/掩蔽数据流的至少一部分。适当地修改数据包括减少数据的至少一部分的质量或保真度。适当地，在所有数据信道上执行对数据的修改，尽管不需要如此。对数据的修改可以一次在所有数据信道上执行，尽管不需要如此。在某些情况下，数据修改器可以被配置成修改数据信道的子集。例如，数据修改器可以修改视频数据信道，并且还可能修改音频数据信道，但是不需要修改远程信息处理数据和/或状态数据。在数据修改器被配置成分别修改数据信道的情况下，数据量修改系统适当地被配置成在保存或传送经修改的数据流之前将经修改的数据信道与任何剩余数据信道组合到经修改的数据流中。在某些情况下，数据信道可以单独地或在包括数据信道的子集的组中保存和/或传送。
在某些情况下，如上文所论述，数据修改器可以在所检测的或识别的特征之前(按时间顺序)修改所接收的数据流的时段，例如，所接收的数据流的在所识别的特征之前的第一数据部分。数据修改器可以在所检测的特征之后(按时间顺序)修改所接收的数据流的时段，例如所接收的数据流的在所识别的特征之后的第二数据部分。第一数据部分和第二数据部分中的一者或两者可以与预定时间段有关。
第一数据部分可以适当地是从所接收的数据流的开始直到所接收的数据流的识别到特征的点的所接收的数据流的部分。第一数据部分可改为与给定时间段，例如30秒、1分钟、2分钟、5分钟、10分钟等相关。在给定时间段等于或大于从所接收的数据流的开始直到识别到特征的点的总时间的情况下，第一数据部分包括从开始到所识别的特征的点的所接收的数据流的部分。给定时间段可以在所识别的特征出现时结束。也就是说，第一时间段可以是以所识别的特征的出现结束的时间段。给定时间段可以是可选择的，例如由用户选择。给定时间段可以自动选择。给定时间段可以根据所识别的特征和/或正在执行的手术来选择。例如，对于第一识别的特征，给定时间段可以是1分钟，并且对于第二识别的特征，给定时间段可以是2分钟，或者从所接收的数据流的开始直到该识别的特征发生的时间。
第二数据部分可以适当地是从所接收的数据流中的识别到特征的点直到所接收的数据流的结束的所接收的数据流的部分。第二数据部分可改为与另一给定时间段，例如30秒、1分钟、2分钟、5分钟、10分钟等相关。当另一给定时间段等于或大于从识别到特征的点到所接收的数据流的结束的总时间时，第二数据部分包括从所识别的特征到所接收的数据流的结束的所接收的数据流的部分。另一给定时间段可以在所识别的特征出现时开始。也就是说，第二时间段可以是以所识别的特征的出现开始的时间段。另一给定时间段可以是可选择的，例如由用户选择。另一给定时间段可以自动选择。另一给定时间段可以根据所识别的特征和/或正在执行的手术来选择。例如，对于第三识别的特征，另一给定时间段可以是1分钟，并且对于第四识别的特征，另一给定时间段可以是2分钟，或者从所识别的特征出现的时间直到所接收的数据流的结束。
第一时间段和第二时间段可以是相同的，但不必如此。第一时间段和第二时间段可以彼此相关。例如，第一时间段可以是第二时间段的一半、十分之一等。因此，在一个实例中，第一时间段为1分钟，并且第二时间段为2分钟。在另一实例中，第一时间段为1分钟，并且第二时间段为10分钟。第一时间段与第二时间段之间的其它比率是可能的，并且可以例如自动地、由用户、根据所识别的特征、正在执行的手术等选择。第一时间段可以长于第二时间段。
数据修改器可以在所检测的特征之间(按时间顺序)修改所接收的数据流的时段。在某些情况下，数据修改器可以被配置成在位于所检测的特征附近(即，其任一侧)的时间段内修改所接收的数据流。
数据修改可以被配置成识别所接收的数据流中的指示手术程序中的另一事件的另一特征，并且通过修改所接收的数据流的第三时间段来生成经修改的数据流，所述第三时间段：在所识别的特征与所识别的另一特征之间；或者在所识别的特征和所识别的另一特征中的第一个之前以及在所识别的特征和所识别的另一特征中的第二个之后。
当第三时间段在所识别的特征与所识别的另一特征之间时，第三时间段不必严格限于所识别的特征与所识别的另一特征的出现之间的时间。在一些实例中，第三时间段可以长于所识别的特征与所识别的另一特征的出现之间的时间。例如，第三时间段可以另外覆盖在所识别的特征和所识别的另一特征中的第一个之前的时间和/或在所识别的特征和所识别的另一特征中的第二个之后的时间。
识别特征可包括确定是否满足规则集中的规则，以及识别满足规则的特征。当手术机器人系统和/或手术程序的参数组中的参数与预定义标准匹配时，可以满足所述规则。所接收的数据流可以包括所述参数。所述参数可通过对所接收的数据流的分析来确定。
适当地，所述参数(或该参数组的多于一个参数)可以在所接收的数据流的元数据中表示。例如，元数据可包括所述参数。分析所接收的数据流以确定所述参数可包括确定所接收的数据流的元数据并从元数据提取参数值。分析所接收的数据流以确定所述参数可包括对所接收的数据流的视频信道或视频信道的一部分进行图像分析。分析可包括图像识别/图像匹配，以便识别视频中的参数。分析所接收的数据流以确定所述参数可包括分析所接收的数据流的遥测数据部分。
所述标准(或若干标准)适当地包括器械的类型、器械的附接状态、手术机器人系统的操作状态、所接收的数据流的至少方面或部分的特性以及上述的组合中的一者或多者。例如，所述标准可包括器械是附接到系统的抓握器器械，并且系统处于指示器械处于外科医生的可操作控制下的“手术模式”。如果参数指示满足此标准，则可以满足规则并识别特征。
用于识别特征的标准是根据经修改的数据流的预期用途和/或用于经修改的数据流的预期目的地适当地选择的。例如，当数据用于有关缝合的教学会话时，用于修改数据流的特征可包括缝合器械的附接和拆卸，以及对指示缝合操作的器械的控制。
如上所述，特定信道的数据量可能增加，同时减少总体数据量。现在将讨论这方面的实例。在所接收的数据流包括两个信道的情况下，可以将来自这两个信道的数据的子集组合到单个信道中。所得的单个信道可能比所接收的信道中的任一个具有更大的数据量(尽管不需要；可以在信道组合之前如本文所述修改每个信道)。然而，当所得的单个信道的数据量小于所接收的信道的组合数据量时，仍可获得益处。来自第一信道的数据可以叠加在第二信道上(或以其它方式组合，例如通过向第二信道添加元数据)。举例来说，关节的子集的关节数据可以叠加在视频数据信道上。包括叠加的关节数据的所得的视频数据信道将比所接收的视频数据信道具有更大的数据量。然后可以省去所接收的关节数据。由于省去的关节数据比关节数据的子集具有更大的数据量，因此实现了总体数据量的节省。
现在参考图7，其示出了用于基于由手术机器人系统捕获的数据流而自动生成经修改的数据流的示例方法700。在框702处，接收由系统捕获的数据流。数据流可以由上文讨论的数据量修改系统500接收，例如由接收器504接收。在框704处，识别所接收的数据流中的特征。例如，特征可包括确定手术中的事件或阶段，例如内窥镜已插入患者腔内。在框706处，生成经修改的数据流。根据在框702处接收的数据流和在框704处识别的特征生成经修改的数据流。生成经修改的数据流以便减少数据量，即使得经修改的数据流比所接收的数据流包括更少的数据。
在一些情况下，视频数据不需要由可附接到手术机器人系统的臂的内窥镜捕获。例如，视频数据可以由不是机器人内窥镜的内窥镜捕获。内窥镜可以是可手动控制的内窥镜。以此方式，视频数据或更一般地数据流可以由在手术机器人系统外部(不是其一部分)的装置捕获。此类装置不限于内窥镜。此类装置可包括用于监测患者和/或患者的状态的监测装置。此类装置可包括内窥镜、心率监测器、血压监测器、血流监测器、呼吸监测器等中的一者或多者。
可以设置用于修改从诸如监测装置的装置捕获的数据流的数据量修改系统。数据流可包括视频数据。数据量修改系统适当地被配置成接收数据流，识别数据流的指示事件的特征，并且根据所识别的特征和所接收的数据流生成具有小于所接收的数据流的数据量的经修改的数据流。
数据量修改系统可包括被配置成接收数据流的接收器。数据量修改系统可包括被配置成生成经修改的数据流的数据修改器。数据修改器可以被配置成识别特征。识别特征可包括检测所接收的数据流中的特征。
所述装置可包括用于对术野内部成像的成像装置。所述装置可包括用于对患者体内的手术部位成像的成像装置。数据流可包括从术野内部捕获的数据。数据流可包括从患者体内的手术部位捕获的数据。数据流可包括视频数据。数据流可包括从术野外部捕获的数据。
所述装置可远离手术机器人系统(在其外部)。数据修改器可以用于手术机器人系统中或与手术机器人系统一起使用。数据修改器可以形成手术机器人系统的一部分。数据可以从手术机器人系统外部(或远离手术机器人系统)的装置捕获，并且在手术机器人系统处修改。也就是说，手术机器人系统(或手术机器人系统的至少一部分，例如数据量修改系统)可用于修改从系统远程捕获的数据。从手术机器人系统远程捕获的数据可以与由手术机器人系统捕获的数据同步。可以根据由手术机器人系统捕获的数据来修改从手术机器人系统远程捕获的数据。
数据流的指示事件的特征可包括本文其它地方描述的特征或根据本文其它地方描述的特征确定(此处为了简洁起见，不重复全部细节)。例如，数据流的特征可以包括从术野外部或内部捕获视频数据，和/或视频数据包括被从术野外部捕获到/从被从术野内部捕获之间的转变的指示。此类特征可包括(如本文其它地方更详细地描述的)以下中的一者或多者(包括以下的组合组合)：视频数据是否包括增大或缩小的圆，视频数据是否包括端口识别特征，图像白平衡、图像谱以及从图像中心到边缘的图像梯度中的一者或多者的度量，和/或图像白平衡、图像谱以及从图像中心到边缘的图像梯度中的一者或多者的量度的变化，视频数据是否包括解剖特征，视频数据是否包括已知在术野外部的对象，正在执行的手术，和已经使用一个或多个已知特征训练的机器学习系统。
数据流可以如本文其它地方所述被修改(为了简洁起见，此处不重复全部细节)。
以此方式，可以例如使用手术机器人系统来修改从手术机器人系统远程捕获的数据。从手术机器人系统远程捕获的数据可以在离开手术室之前被修改。从手术机器人系统远程捕获的数据可在例如通过手术机器人系统时在手术机器人系统处被修改。如本文其它地方所述，可以执行对从手术机器人系统远程捕获的数据和/或经修改的数据的进一步处理，包括加密、加水印、与生命值相关联等。
现在参考图8，其示出了示例性的基于计算的装置800的各个部件，该基于计算的装置可以实施为任何形式的计算和/或电子装置，并且可以在该基于计算的装置中实施本文所述的方法和修改系统的实施例。基于计算的装置800包括一个或多个处理器802，该一个或多个处理器可以是微处理器、控制器或用于处理计算机可执行指令的任何其它合适类型的处理器。在一些实例中，例如在使用片上系统架构的情况下，处理器802可包括一个或多个固定功能块(也称为加速器)，该一个或多个固定功能块在硬件(而不是软件或固件)中实施修改数据流的方法的一部分。可以在基于计算的装置上设置包括操作系统804或任何其他合适的平台软件的平台软件，以使得诸如实施图7的方法的软件805的应用程序软件能够在该装置上执行。
计算机可执行指令可以使用可由基于计算的装置800访问的任何计算机可读介质来提供。计算机可读介质可以包括例如计算机存储介质，例如存储器806和通信介质。计算机存储介质(即，非暂时性机器可读介质)，例如存储器806，包括以任何方法或技术实现的易失性和非易失性、可移除和不可移除介质以存储信息，例如计算机可读指令、数据结构、程序模块或其它数据。计算机存储介质包括但不限于RAM、ROM、EPROM、EEPROM、闪存或其它存储技术、CD-ROM、数字多功能磁盘(DVD)或其它光学存储装置、磁带盒、磁带、磁盘存储装置或其它磁性存储装置，或可用于存储信息以供基于计算的装置访问的任何其它非传输介质。相比之下，通信介质可以在调制数据信号例如载波或其它传输机构中包含计算机可读指令、数据结构、程序模块或其它数据。如本文所定义，计算机存储介质不包括通信介质。尽管计算机存储介质(即，非暂时性机器可读介质，例如存储器806)在基于计算的装置800内示出，但应了解，存储可以被远程分布或定位，并且经由网络或其它通信链路(例如，使用通信接口808)访问。
基于计算的装置800还包括输入/输出控制器810，该输入/输出控制器被布置成将显示信息输出到显示装置812，该显示装置可以与基于计算的装置800分离或集成。显示信息可以提供图形用户界面。输入/输出控制器810还被布置成从一个或多个装置，例如用户输入装置814(例如，鼠标或键盘)接收和处理输入。此用户输入可用于发起验证。在实施例中，如果显示装置812是触敏显示装置，则该显示装置也可以用作用户输入装置814。输入/输出控制器810还可以将数据输出除显示装置外的装置，例如本地连接的打印装置(未示出)。
在上面的描述中，为了便于解释，系统采取的动作已被分成功能块或功能模块。在实践中，这些块中的两个或更多个可以在架构上组合。功能也可以分成不同的功能块。
已经在手术机器人系统的上下文中描述了本发明技术，但所描述的至少一些特征不限于此类系统，而是可以更一般地应用于机器人系统。在一些实例中，本发明技术可以应用于远程操作的机器人系统。本发明技术可能是有用的情形的一些实例包括利用“蛇形”机器人进行探索、调查或维修的那些情形。在手术机器人的情况下，末端执行器可以是手术工具，例如剪刀、手术切割器、手术钳或烧灼器。
机器人系统可以包括制造系统，例如车辆制造系统、零件处理系统、实验室系统和操纵器，例如用于危险材料的操纵器或手术操纵器。
申请人在此独立地公开了本文描述的每个单独的特征以及两个或更多个这种特征的任意组合，只要这些特征或组合能够基于本说明书作为一个整体根据本领域技术人员的公知常识来实施，而不管这些特征或特征的组合是否解决本文公开的任何问题，并且不限制权利要求的范围。申请人指出，本发明的各方面可以由任何这样的单个特征或特征组合组成。鉴于以上描述，对于本领域技术人员来说显而易见的是，可以在本发明的范围内进行各种修改。
权利要求书(按照条约第19条的修改)
1.一种减少手术机器人系统中的数据流的数据量的方法，所述手术机器人系统包括机器人，所述机器人具有基座以及从所述基座延伸到用于器械的附接件的臂，所述臂包括多个关节，由此能够改变所述臂的配置，所述方法包括：
接收由所述手术机器人系统捕获的数据流，所述数据流包括与手术程序有关的数据并且具有第一数据量；
识别所接收的数据流中的指示所述手术程序中的事件的特征；以及
根据所识别的特征，修改所接收的数据流以生成具有小于所述第一数据量的第二数据量的经修改的数据流。
2.根据权利要求1所述的方法，包括通过修改以下中的一者或多者来生成所述经修改的数据流：
所接收的数据流的在所识别的特征之前的第一数据部分；以及
所接收的数据流的在所识别的特征之后的第二数据部分。
3.根据权利要求2所述的方法，其中所述第一数据部分和所述第二数据部分中的一者或两者与预定时间段有关。
4.根据任一前述权利要求所述的方法，包括识别所接收的数据流中的指示所述手术程序中的另一事件的另一特征，以及通过修改与所接收的数据流的另一时间段有关的另一数据部分来生成所述经修改的数据流，所述另一时间段：
在所识别的特征与所识别的另一特征之间；或者
在所识别的特征和所识别的另一特征中的第一个之前以及在所识别的特征和所识别的另一特征中的第二个之后。
5.根据任一前述权利要求所述的方法，其中识别所述特征包括确定是否满足规则集中的规则，以及识别满足所述规则的特征。
6.根据权利要求5所述的方法，其中在所述手术机器人系统和/或所述手术程序的参数组中的参数与预定义标准匹配的情况下，满足所述规则。
7.根据权利要求6所述的方法，其中所接收的数据流包括所述参数，或者其中所述参数是根据对所接收的数据流的分析确定的。
8.根据任一前述权利要求所述的方法，其中所接收的数据流包括来自数据信道组的一个或多个数据信道，所述数据信道组包括：
从联接到所述手术机器人系统的内窥镜接收的视频数据；
关于所述手术程序记录的音频数据；
对应于所述手术机器人系统的远程信息处理数据；
状态数据，所述状态数据包括所述手术机器人系统的至少一部分的状态；以及
由附加装置在局域网上传输的另外数据；
并且其中所述方法包括根据来自所述数据信道组的一个或多个数据信道来识别所述特征。
9.根据权利要求8所述的方法，其中所述方法包括根据所述数据信道组中的第一数据信道识别所述特征，并且生成所述经修改的数据流包括修改以下中的一者或多者：
所述数据信道组中的第一数据信道和
第二数据信道。
10.根据任一前述权利要求所述的方法，其中所识别的特征指示以下中的一者或多者的值或变化：
器械的附接状态；
附接到所述臂的器械的操作状态；
所述机器人系统的操作状态或操作模式；
所述臂和/或附接到所述臂的器械的配置；以及
控制台的控制状态。
11.根据任一前述权利要求所述的方法，其中所识别的特征指示以下中的一者或多者：
在所述视频数据中检测到的特征；
传感器数据；以及
由外部连接的系统报告的数据。
12.根据权利要求8至11中任一项所述的方法，其中所述方法包括通过修改以下中的一者或多者来生成所述经修改的数据流：
所述视频数据的至少一部分的视频清晰度；
所述视频数据的至少一部分的视频信道的数目；
所述视频数据的至少一部分的帧速率；
所述视频数据的至少一部分的色域；
所述机器人系统的状态的表示；
所述音频数据的至少一部分的音频清晰度；
所述数据信道组中的数据信道的数目。
13.根据权利要求8至12中任一项所述的方法，其中所述方法包括修改所接收的数据流，使得所述经修改的数据流包括以下中的一者或多者：
视频数据的具有第一分辨率的部分和视频数据的具有第二较低分辨率的部分；
视频数据的具有第一数目的信道的部分和视频数据的具有第二较小数目的信道的部分；
视频数据的具有第一帧速率的部分和视频数据的具有第二较低帧速率的部分；
视频数据的具有第一色域的部分和视频数据的具有第二较小色域的部分；
与所述机器人系统的状态变化有关的数据，其代替与在所述机器人系统的状态在其间不改变的多个时间点处的所述机器人系统的状态有关的数据；
所述视频数据中的已知形状的线框模型，其代替与该已知形状有关的完整视频数据或图形渲染数据；
所述视频数据中的结构的描述，其代替与该结构有关的完整视频数据；以及
绝对位置和/或相对位置的描述以及速度和/或移动轨迹的描述，其代替完整视频数据或完整远程信息处理数据。
14.根据权利要求13所述的方法，其中所述结构的描述包括解剖结构、器械和末端执行器中的一者或多者的描述。
15.根据任一前述权利要求所述的方法，其中所述方法包括通过压缩来自所述数据信道组的一个或多个数据信道的至少一部分来生成所述经修改的数据流。
16.根据任一前述权利要求所述的方法，其中所述方法包括在正在执行所述手术程序时生成所述经修改的数据流。
17.根据任一前述权利要求所述的方法，其中所述方法包括：
实时或基本上实时地生成所述经修改的数据流；
向远程处理器发送所述经修改的数据流，由此使得所述远程处理器能够对所述经修改的数据流执行实时或基本上实时分析；以及
从所述远程处理器实时或基本上实时地接收所述分析的结果，以辅助所述手术机器人系统的操作者。
18.一种用于手术机器人系统的数据量修改系统，所述数据量修改系统用于减少所述手术机器人系统中的数据流的数据量，所述手术机器人系统包括机器人，所述机器人具有基座以及从所述基座延伸到用于器械的附接件的臂，所述臂包括多个关节，由此能够改变所述臂的配置，所述系统包括：
接收器，所述接收器被配置成接收由所述手术机器人系统捕获的数据流，所述数据流包括与手术程序有关的数据并且具有第一数据量；
特征检测器，所述特征检测器被配置成识别所接收的数据流中的指示所述手术程序中的事件的特征；以及
数据修改器，所述数据修改器被配置成根据所识别的特征修改所接收的数据流以生成具有小于所述第一数据量的第二数据量的经修改的数据流。
19.一种用于手术机器人系统的数据量修改系统，所述数据量修改系统被配置成执行根据权利要求1至17中任一项所述的方法。
20.一种手术机器人系统，所述手术机器人系统包括：机器人，所述机器人具有基座以及从所述基座延伸到用于器械的附接件的臂；以及被配置成执行根据权利要求1至17中任一项所述的方法的数据量修改系统。
21.一种非暂时性计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令当在计算机系统处执行时使所述计算机系统执行根据权利要求1至17中任一项所述的方法。

Claims (24)

1.一种减少手术机器人系统中的数据流的数据量的方法，所述手术机器人系统包括机器人，所述机器人具有基座以及从所述基座延伸到用于器械的附接件的臂，所述臂包括多个关节，由此能够改变所述臂的配置，所述方法包括：
接收由所述手术机器人系统捕获的数据流，所述数据流包括与手术程序有关的数据并且具有第一数据量；
识别所接收的数据流中的指示所述手术程序中的事件的特征；以及
根据所识别的特征，修改所接收的数据流以生成具有小于所述第一数据量的第二数据量的经修改的数据流。
2.根据权利要求1所述的方法，包括通过修改以下中的一者或多者来生成所述经修改的数据流：
所接收的数据流的在所识别的特征之前的第一数据部分；以及
所接收的数据流的在所识别的特征之后的第二数据部分。
3.根据权利要求2所述的方法，其中所述第一数据部分和所述第二数据部分中的一者或两者与预定时间段有关。
4.根据任一前述权利要求所述的方法，包括识别所接收的数据流中的指示所述手术程序中的另一事件的另一特征，以及通过修改所接收的数据流的第三时间段来生成所述经修改的数据流，所述第三时间段：
在所识别的特征与所识别的另一特征之间；或者
在所识别的特征和所识别的另一特征中的第一个之前以及在所识别的特征和所识别的另一特征中的第二个之后。
5.根据任一前述权利要求所述的方法，其中识别所述特征包括确定是否满足规则集中的规则，以及识别满足所述规则的特征。
6.根据权利要求5所述的方法，其中在所述手术机器人系统和/或所述手术程序的参数组中的参数与预定义标准匹配的情况下，满足所述规则。
7.根据权利要求6所述的方法，其中所接收的数据流包括所述参数，或者其中所述参数是根据对所接收的数据流的分析确定的。
8.根据任一前述权利要求所述的方法，包括保存和/或传送所述经修改的数据流。
9.根据任一前述权利要求所述的方法，其中所接收的数据流包括来自数据信道组的一个或多个数据信道，所述数据信道组包括：
从联接到所述手术机器人系统的内窥镜接收的视频数据；
关于所述手术程序记录的音频数据；
对应于所述手术机器人系统的远程信息处理数据；
状态数据，所述状态数据包括所述手术机器人系统的至少一部分的状态；以及
由附加装置在局域网上传输的另外数据；
并且其中所述方法包括根据来自所述数据信道组的一个或多个数据信道来识别所述特征。
10.根据权利要求9所述的方法，其中所述方法包括根据所述数据信道组中的第一数据信道识别所述特征，并且生成所述经修改的数据流包括修改以下中的一者或多者：
所述数据信道组中的第一数据信道和
第二数据信道。
11.根据任一前述权利要求所述的方法，其中所识别的特征指示以下中的一者或多者的值或变化：
器械的附接状态；
附接到所述臂的器械的操作状态；
所述机器人系统的操作状态或操作模式；
所述臂和/或附接到所述臂的器械的配置；以及
控制台的控制状态。
12.根据任一前述权利要求所述的方法，其中所识别的特征指示以下中的一者或多者：
在所述视频数据中检测到的特征；
传感器数据；以及
由外部连接的系统报告的数据。
13.根据权利要求9至12中任一项所述的方法，其中所述方法包括通过修改以下中的一者或多者来生成所述经修改的数据流：
所述视频数据的至少一部分的视频清晰度；
所述视频数据的至少一部分的视频信道的数目；
所述视频数据的至少一部分的帧速率；
所述视频数据的至少一部分的色域；
所述机器人系统的状态的表示；
所述音频数据的至少一部分的音频清晰度；
所述数据信道组中的数据信道的数目。
14.根据权利要求9至13中任一项所述的方法，其中所述方法包括修改所接收的数据流，使得所述经修改的数据流包括以下中的一者或多者：
视频数据的具有第一分辨率的部分和视频数据的具有第二较低分辨率的部分；
视频数据的具有第一数目的信道的部分和视频数据的具有第二较小数目的信道的部分；
视频数据的具有第一帧速率的部分和视频数据的具有第二较低帧速率的部分；
视频数据的具有第一色域的部分和视频数据的具有第二较小色域的部分；
与所述机器人系统的状态变化有关的数据，其代替与在所述机器人系统的状态在其间不改变的多个时间点处的所述机器人系统的状态有关的数据；
所述视频数据中的已知形状的线框模型，其代替与该已知形状有关的完整视频数据或图形渲染数据；
所述视频数据中的结构的描述，其代替与该结构有关的完整视频数据；以及
绝对位置和/或相对位置的描述以及速度和/或移动轨迹的描述，其代替完整视频数据或完整远程信息处理数据。
15.根据权利要求14所述的方法，其中所述结构的描述包括解剖结构、器械和末端执行器中的一者或多者的描述。
16.根据任一前述权利要求所述的方法，其中所述方法包括通过压缩所接收的数据流的至少一部分来生成所述经修改的数据流。
17.根据权利要求16所述的方法，其中所述方法包括通过压缩来自所述数据信道组的一个或多个数据信道的至少一部分来生成所述经修改的数据流。
18.根据任一前述权利要求所述的方法，其中所述方法包括通过对所接收的数据流的至少一部分进行下采样来生成所述经修改的数据流。
19.根据任一前述权利要求所述的方法，其中所述方法包括在正在执行所述手术程序时生成所述经修改的数据流。
20.根据任一前述权利要求所述的方法，其中所述方法包括：
实时或基本上实时地生成所述经修改的数据流；
向远程处理器发送所述经修改的数据流，由此使得所述远程处理器能够对所述经修改的数据流执行实时或基本上实时分析；以及
从所述远程处理器实时或基本上实时地接收所述分析的结果，以辅助所述手术机器人系统的操作者。
21.一种用于手术机器人系统的数据量修改系统，所述数据量修改系统用于减少所述手术机器人系统中的数据流的数据量，所述手术机器人系统包括机器人，所述机器人具有基座以及从所述基座延伸到用于器械的附接件的臂，所述臂包括多个关节，由此能够改变所述臂的配置，所述系统包括：
接收器，所述接收器被配置成接收由所述手术机器人系统捕获的数据流，所述数据流包括与手术程序有关的数据并且具有第一数据量；
特征检测器，所述特征检测器被配置成识别所接收的数据流中的指示所述手术程序中的事件的特征；以及
数据修改器，所述数据修改器被配置成根据所识别的特征修改所接收的数据流以生成具有小于所述第一数据量的第二数据量的经修改的数据流。
22.一种用于手术机器人系统的数据量修改系统，所述数据量修改系统被配置成执行根据权利要求1至20中任一项所述的方法。
23.一种手术机器人系统，所述手术机器人系统包括：机器人，所述机器人具有基座以及从所述基座延伸到用于器械的附接件的臂；以及被配置成执行根据权利要求1至20中任一项所述的方法的数据量修改系统。
24.一种非暂时性计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令当在计算机系统处执行时使所述计算机系统执行根据权利要求1至20中任一项所述的方法。
CN202080050640.7A 2019-07-11 2020-07-10 修改来自手术机器人系统的数据 Pending CN114096210A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1909992.8A GB2585691B (en) 2019-07-11 2019-07-11 Anonymising robotic data
GB1909992.8 2019-07-11
GB2002390.9A GB2585733B (en) 2019-07-11 2020-02-20 Modifying data from a surgical robotic system
GB2002390.9 2020-02-20
PCT/GB2020/051677 WO2021005380A1 (en) 2019-07-11 2020-07-10 Modifying data from a surgical robotic system

Publications (1)

Publication Number Publication Date
CN114096210A true CN114096210A (zh) 2022-02-25

Family

ID=67700227

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080050640.7A Pending CN114096210A (zh) 2019-07-11 2020-07-10 修改来自手术机器人系统的数据
CN202080050582.8A Pending CN114144785A (zh) 2019-07-11 2020-07-10 匿名化机器人数据

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202080050582.8A Pending CN114144785A (zh) 2019-07-11 2020-07-10 匿名化机器人数据

Country Status (9)

Country Link
US (2) US20220286687A1 (zh)
EP (2) EP3997604A1 (zh)
JP (3) JP2022540465A (zh)
CN (2) CN114096210A (zh)
AU (3) AU2020309810B2 (zh)
BR (2) BR112022000475A2 (zh)
CL (2) CL2022000076A1 (zh)
GB (2) GB2585691B (zh)
WO (2) WO2021005380A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210088914A (ko) * 2020-01-07 2021-07-15 엘지전자 주식회사 공간 맵 정보 생성 방법 및 생성된 공간을 이동하는 이동로봇
DE102021107075A1 (de) * 2021-03-22 2022-09-22 Olympus Winter & Ibe Gmbh Verfahren, System und Softwareprogrammprodukt zum Erstellen von Trainingsdaten für endoskopische Anwendungen
CN117546214A (zh) * 2021-06-28 2024-02-09 直观外科手术操作公司 保护医疗程序中成像装置生成的视频流中的个人可识别内容
US20230181263A1 (en) * 2021-12-13 2023-06-15 Genesis Medtech (USA) Inc. Dynamic 3d scanning robotic laparoscope
WO2023166981A1 (ja) * 2022-03-03 2023-09-07 ソニーグループ株式会社 情報処理装置、情報処理端末、情報処理方法、およびプログラム
NL2031478B1 (en) * 2022-04-01 2023-10-25 Deo N V Method for anonymizing an audio data stream
US20230315905A1 (en) * 2022-04-04 2023-10-05 Digital Surgery Limited De-identifying data obtained from microphones
US20230326581A1 (en) * 2022-04-11 2023-10-12 Odin Vision Real time cloud image processing for endoscopy analysis

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135344A (ja) 2003-10-31 2005-05-26 Toshiba Corp 医療情報システム
US8462681B2 (en) * 2009-01-15 2013-06-11 The Trustees Of Stevens Institute Of Technology Method and apparatus for adaptive transmission of sensor data with latency controls
EP2521507B1 (en) * 2010-01-08 2015-01-14 Koninklijke Philips N.V. Uncalibrated visual servoing using real-time velocity optimization
US8948478B2 (en) * 2010-10-08 2015-02-03 Codonics, Inc. Multi-media medical record system
CN103299355B (zh) * 2010-11-04 2016-09-14 约翰霍普金斯大学 用于微创手术技能的评估或改进的系统和方法
CN104584068B (zh) 2012-08-15 2018-12-14 直观外科手术操作公司 用于优化视频流的方法和系统
US11120896B2 (en) * 2012-12-28 2021-09-14 Philips Image Guided Therapy Corporation Multi-modality anonymizing system and method
JP6176978B2 (ja) 2013-01-31 2017-08-09 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム
US9544533B2 (en) * 2014-03-04 2017-01-10 Black Diamond Video, Inc. Converter device and system including converter device
EP3197384A4 (en) * 2014-09-23 2018-05-16 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
CN107615395B (zh) * 2015-03-26 2021-02-05 外科安全技术公司 用于事件和差错预测的手术室黑盒设备、系统、方法和计算机可读介质
JP7073618B2 (ja) 2016-09-23 2022-05-24 ソニーグループ株式会社 制御装置、制御方法及び医療用システム
US11712320B2 (en) 2017-03-21 2023-08-01 Stryker Corporation Methods and systems to automate surgical interventions
KR20190000107A (ko) * 2017-06-22 2019-01-02 주식회사 엠티이지 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치
US11576677B2 (en) * 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11132462B2 (en) * 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11202570B2 (en) * 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11659023B2 (en) * 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
CN109063506B (zh) * 2018-07-09 2021-07-06 江苏达实久信数字医疗科技有限公司 用于医疗手术示教系统的隐私处理方法
JP7325173B2 (ja) * 2018-10-06 2023-08-14 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム
US11080424B2 (en) * 2019-05-21 2021-08-03 Verb Surgical Inc. Method and system for anonymizing raw surgical procedure videos
US11069036B1 (en) * 2020-01-03 2021-07-20 GE Precision Healthcare LLC Method and system for real-time and offline de-identification of facial regions from regular and occluded color video streams obtained during diagnostic medical procedures
CN117546214A (zh) * 2021-06-28 2024-02-09 直观外科手术操作公司 保护医疗程序中成像装置生成的视频流中的个人可识别内容

Also Published As

Publication number Publication date
CL2022000076A1 (es) 2022-11-11
JP2022540169A (ja) 2022-09-14
JP7412528B2 (ja) 2024-01-12
GB2585733B (en) 2024-06-05
AU2024201249A1 (en) 2024-03-14
CN114144785A (zh) 2022-03-04
AU2020311031A1 (en) 2022-03-03
EP3997603A1 (en) 2022-05-18
GB201909992D0 (en) 2019-08-28
BR112022000475A2 (pt) 2022-03-03
WO2021005381A1 (en) 2021-01-14
US20210012032A1 (en) 2021-01-14
GB202002390D0 (en) 2020-04-08
AU2020309810A1 (en) 2022-03-10
WO2021005380A1 (en) 2021-01-14
GB2585733A (en) 2021-01-20
AU2020309810B2 (en) 2024-03-21
US20220286687A1 (en) 2022-09-08
GB2585691B (en) 2024-03-20
CL2022000077A1 (es) 2022-11-11
EP3997604A1 (en) 2022-05-18
BR112022000477A2 (pt) 2022-03-03
JP2022540465A (ja) 2022-09-15
GB2585691A (en) 2021-01-20
JP2024016845A (ja) 2024-02-07

Similar Documents

Publication Publication Date Title
JP7412528B2 (ja) 外科用ロボットシステムからのデータの修正
US11058505B2 (en) Machine-learning-based visual-haptic feedback system for robotic surgical platforms
KR102013806B1 (ko) 인공데이터 생성 방법 및 장치
US11992372B2 (en) Cooperative surgical displays
US11748924B2 (en) Tiered system display control based on capacity and user operation
EP4062420A1 (en) Interactive information overlay on multiple surgical displays
JP6876090B2 (ja) 医療システムの作動方法及び外科手術を行うための医療システム
CN113813053A (zh) 一种基于腹腔镜内窥影像的手术进程分析方法
Lahane et al. Detection of unsafe action from laparoscopic cholecystectomy video
US20220129822A1 (en) Detecting events during a surgery
WO2022250031A1 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
US20230144829A1 (en) Integrated Digital Surgical System
WO2023144570A1 (en) Detecting and distinguishing critical structures in surgical procedures using machine learning
WO2022221342A1 (en) Systems and methods for ai-assisted medical image annotation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination