CN117546214A - 保护医疗程序中成像装置生成的视频流中的个人可识别内容 - Google Patents

保护医疗程序中成像装置生成的视频流中的个人可识别内容 Download PDF

Info

Publication number
CN117546214A
CN117546214A CN202280044546.XA CN202280044546A CN117546214A CN 117546214 A CN117546214 A CN 117546214A CN 202280044546 A CN202280044546 A CN 202280044546A CN 117546214 A CN117546214 A CN 117546214A
Authority
CN
China
Prior art keywords
video stream
machine learning
learning model
applying
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280044546.XA
Other languages
English (en)
Inventor
秦一丹
M·H·艾伦
M·阿兹兹安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN117546214A publication Critical patent/CN117546214A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6263—Protecting personal data, e.g. for financial or medical purposes during internet communication, e.g. revealing personal data from cookies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Bioethics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Image Analysis (AREA)

Abstract

说明性图像处理系统被配置为将视频流应用于机器学习模型，所述视频流由成像装置在针对患者执行的医疗程序期间生成；基于机器学习模型的输出，将视频流中包含的图像帧分类为描绘患者身体外部的内容的体外帧；以及基于将图像帧分类为体外帧，对所述图像帧应用隐私增强操作。

Description

保护医疗程序中成像装置生成的视频流中的个人可识别内容
技术领域
本申请要求2021年6月28日提交的美国临时专利申请No.63/215,870的优先权，该临时专利申请的内容通过引用整体并入本文。
背景技术
通常希望在医疗程序期间保存和/或共享由内窥镜或其他类型的成像装置获取的图像。例如，可能需要保存图像用于训练和/或分析目的，在医疗程序期间和/或之后将图像流式传输给远程观察者等。
在医疗程序的过程中，内窥镜可以获取描绘个人可识别内容的一个或更多个图像，个人可识别内容诸如患者和/或一名或更多名手术室工作人员的面部、识别特征(例如纹身和/或痣)和/或文本(例如，患者姓名和/或出生日期、手术室工作人员徽章等)。例如，当内窥镜插入患者身体和/或从患者身体移除时，可以获取这种个人可识别内容的图像。
为了遵守各种隐私政策(例如，健康保险携带和责任法案(HIPPA))，在保存和/或与他人共享图像之前，必须小心地从内窥镜获取的图像中删除个人可识别内容。迄今为止，这需要以手动审查和编辑的形式进行人工干预，这既耗时又昂贵。
发明内容
以下描述呈现了本文所描述的系统和方法的一个或更多个方面的简要概述。该概述不是对所有预期方面的广泛概述，并且既不旨在识别所有方面的重要或关键要素，也不旨在详尽描绘任何或所有方面的范围。它的唯一目的是呈现本文描述的系统和方法的一个或更多个方面，作为下面呈现的详细描述的前序。
说明性系统包括：存储指令的存储器；和处理器，其通信地耦合到存储器并且被配置为执行指令以：将视频流应用于机器学习模型，该视频流由成像装置在针对患者执行的医疗程序期间生成；基于机器学习模型的输出，将视频流中包括的图像帧分类为描绘患者的身体外部的内容的体外帧(ex-body frame)；以及基于将图像帧分类为体外帧，对图像帧应用隐私增强操作。
另一个说明性系统包括：存储指令的存储器；和处理器，其通信地耦合到存储器并且被配置为执行指令以：将视频流应用于机器学习模型，该视频流由成像装置在针对患者执行的医疗程序期间生成；基于机器学习模型的输出，确定视频流中包括的图像帧的内容分类，内容分类指示图像帧是描绘患者的身体外部的内容的体外帧还是不描绘患者身体外部的内容的体内帧；以及基于内容分类，对图像帧执行操作。
另一个说明性系统包括：存储指令的存储器；和处理器，其通信地耦合到存储器并且被配置为执行指令以：将视频流应用于机器学习模型，该视频流由成像装置在针对患者执行的医疗程序期间生成；基于机器学习模型的输出，确定视频流中包括的图像帧的内容分类，内容分类指示图像帧是描绘患者身体外部的内容的体外帧还是不描绘患者身体外部的内容的体内帧；以及基于内容分类，对图像帧执行操作。
另一个说明性系统包括：成像装置，该成像装置被配置为在针对患者执行的医疗程序期间生成视频流；和图像处理系统，其被配置为：从成像装置接收视频流；将视频流应用于机器学习模型；基于机器学习模型的输出，确定视频流中包括的图像帧的内容分类，内容分类指示图像帧是描绘患者身体外部的内容的体外帧还是不描绘患者身体外部的内容的体内帧；以及基于内容分类，对图像帧执行操作。
说明性方法包括：通过图像处理系统将视频流应用于机器学习模型，该视频流由成像装置在针对患者执行的医疗程序期间生成；由图像处理系统基于机器学习模型的输出将视频流中包括的图像帧分类为描绘患者身体外部的内容的体外帧；以及图像处理系统基于将图像帧分类为体外帧而对图像帧应用隐私增强操作。
另一种说明性方法包括：通过图像处理系统将视频流应用于机器学习模型，该视频流是在对患者执行的医疗程序期间由成像装置生成的；由图像处理系统基于机器学习模型的输出而将视频流中包括的第一多个图像帧分类为描绘患者身体内部的内容的体内帧；以及通过图像处理系统基于将第一多个图像帧分类为体内帧而对视频流中包括的第二多个图像帧应用隐私增强操作，第二多个图像帧不被包括在第一多个图像帧中。
另一种说明性方法包括：通过图像处理系统将视频流应用于机器学习模型，该视频流是在对患者执行的医疗程序期间由成像装置生成的；由图像处理系统基于机器学习模型的输出确定视频流中包括的图像帧的内容分类，内容分类指示图像帧是描绘患者身体外部的内容的体外帧还是不描绘患者身体外部的内容的体内帧；以及由图像处理系统基于内容分类而对图像帧执行操作。
一种说明性非暂时性计算机可读介质存储指令，当被执行时，该指令指导计算装置的处理器执行以下操作：将视频流应用于机器学习模型，该视频流由成像装置在针对患者执行的医疗程序期间生成；基于机器学习模型的输出，将视频流中包括的图像帧分类为描绘患者身体外部的内容的外体帧；以及基于将图像帧分类为体外帧，对图像帧应用隐私增强操作。
另一种说明性非暂时性计算机可读介质存储指令，当被执行时，指令指导计算装置的处理器执行以下操作：将视频流应用于机器学习模型，该视频流由成像装置在针对患者执行的医疗程序期间生成；基于机器学习模型的输出而确定视频流中包括的图像帧的内容分类，内容分类指示图像帧是描绘患者身体外部的内容的体外帧还是不描绘患者身体外部的内容的体内帧；以及基于内容分类，对图像帧执行操作。
另一种说明性的非暂时性计算机可读介质存储指令，当被执行时，指令指导计算装置的处理器执行以下操作：将视频流应用于机器学习模型，该视频流由成像装置在针对患者执行的医疗程序期间生成；基于机器学习模型的输出而确定视频流中包括的图像帧的内容分类，内容分类指示图像帧是描绘患者身体外部的内容的体外帧还是不描绘患者身体外部的内容的体内帧；以及基于内容分类，对图像帧执行操作。
附图说明
附图示出了各种实施例并且是说明书的一部分。所说明的实施例仅是示例，并不限制本公开的范围。在所有附图中，相同或相似的附图标记表示相同或相似的元件。
图1示出了说明性的医学成像系统。
图2-6示出了图1的图像处理系统的说明性实施方式。
图7示出了说明性方法。
图8-9示出了示例性隐私增强操作。
图10示出了图像帧。
图11示出了图1的图像处理系统的说明性实施方式。
图12示出了说明性方法。
图13示出了根据本文描述的原理的说明性计算机辅助医疗系统。
图14示出了根据本文描述的原理的说明性计算系统。
具体实施方式
示例性图像处理系统被配置为访问在针对患者执行的医疗程序期间由成像装置生成的视频流并将该视频流应用于机器学习模型。基于机器学习模型的输出，图像处理系统可以确定视频流中包括的图像帧的内容分类。如本文所描述的，内容分类可以指示图像帧是描绘患者身体外部的内容的体外帧还是不描绘患者身体外部的内容的体内帧。基于内容分类，图像处理系统可以对图像帧执行操作。
例如，如果内容分类指示图像帧是描绘患者身体外部的内容的体外帧，则图像处理系统可以对图像帧应用隐私增强操作。说明性隐私增强操作包括从视频流中去除图像帧、模糊图像帧使得图像帧中描绘的个人可识别内容在被用户看到时不可辨别，和/或以其他方式确保个人可识别内容不可辨别。可替代地，如果内容分类指示图像帧是不包括患者身体外部的内容的体内帧，则图像处理系统可以放弃对图像帧应用隐私增强操作。
本文描述的系统和方法可以促进在医疗程序期间由成像装置生成的视频流中的个人可识别内容的准确且有效的保护。以这种方式，可以最小化或消除对视频流的手动查看和编辑的需要。此外，本文描述的系统和方法可以促进在医疗程序期间由成像装置获取的视频流的基本上实时共享。例如，视频流可以在医疗程序进行时基本上实时地流式传输到观察者，该观察者位于远离其中正发生医疗程序的手术室。本文描述了本系统和方法的这些和其他益处和优点。
图1示出了被配置为在医疗程序期间生成场景的图像的说明性医学成像系统100。在一些示例中，场景可以包括与在其上或在其内执行医疗程序的身体相关联的手术区域(例如，活体动物的身体、人类或动物尸体、人类或动物解剖结构的一部分、从人体或动物解剖结构中取出的组织、非组织工件、训练模型等)。
如图所示，医学成像系统100包括与图像处理系统104通信的成像装置102。医学成像系统100可以包括可服务于特定实施方式的附加或替代部件。在一些示例中，医学成像系统100或医学成像系统100的某些部件可以由计算机辅助医疗系统来实现。
成像装置102可以由内窥镜或被配置为生成一个或更多个视频流的其他合适的装置来实现。如本文所使用的，视频流可以包括由成像装置102捕获的场景的图像帧(本文中也称为图像)的序列。图像帧可以包括一个或更多个可见光图像帧(即，使用可见光照明获取的一个或更多个图像)和/或一个或更多个可选的成像模态帧(例如，使用非可见光获取的一个或更多个图像)。说明性替代成像模态帧包括使用具有近红外光区域中的波长的荧光激发照明获取的荧光图像。
图像处理系统104可以被配置为访问(例如，接收)由成像装置102生成的视频流并且执行关于视频流的各种操作，如本文所述。
图像处理系统104可以由一个或更多个计算装置和/或计算机资源(例如，处理器、存储器装置、存储装置等)来实现，以服务于特定实施方式。如图所示，图像处理系统104可以包括但不限于选择性地并且可通信地彼此耦合的存储器106和处理器108。存储器106和处理器108均可以包括被配置为存储和/或处理计算机软件的计算机硬件或由该计算机硬件实现。图1中未明确示出的计算机硬件和/或软件的各种其他部件也可以被包括在图像处理系统104内。在一些示例中，存储器106和处理器108可以分布在多个装置和/或多个位置之间，以服务于特定实施方式。
存储器106可以存储和/或以其他方式维护由处理器108使用的可执行数据以执行本文描述的任何功能。例如，存储器106可以存储可以由处理器108执行的指令110。存储器106可以由一个或更多个存储器或存储装置来实现，包括本文描述的被配置为以瞬时或非瞬时方式存储数据的任何存储器或存储装置。指令110可以由处理器108执行以使图像处理系统104执行本文描述的任何功能。指令110可以由任何合适的应用、软件、代码和/或其他可执行数据实例来实现。另外，在特定实施方式中，存储器106还可以维护由处理器108访问、管理、使用和/或传送的任何其他数据。
处理器108可以由一个或更多个计算机处理装置来实现，包括通用处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)、微处理器等)、专用处理器(例如，专用集成电路)(ASIC)、现场可编程门阵列(FPGA)等)、图像信号处理器等。使用处理器108(例如，当处理器108被指导执行由存储器106中存储的指令110表示的操作时)，图像处理系统104可以执行如本文所描述的各种操作。
现在将参考附图描述图像处理系统104的各种实施方式。这些图中示出的被包括在图像处理系统104中的各种模块可以通过硬件和/或软件的任何合适的组合来实现。因此，这些模块表示可以由图像处理系统104单独执行或与本文描述的由图像处理系统104和/或其组件执行的任何其他功能组合执行的各种功能。
图2示出了图像处理系统104的说明性实施方式200。如图所示，图像处理系统104可以被配置为将视频流(例如，由成像装置102生成的视频流)应用于机器学习模型202。分类模块204可以被配置为基于机器学习模型202生成的输出数据(本文中也简称为机器学习模型202的输出)确定视频流中包括的图像帧的内容分类。
机器学习模型202可以被配置为针对作为输入提供给机器学习模型202的视频流执行任何合适的机器学习启发式(也称为人工智能启发式)。机器学习模型202因此可以被监督和/或无监督，如可以服务于特定实施方式并且可以被配置为实现一个或更多个决策树学习算法、关联规则学习算法、人工神经网络学习算法、深度学习算法、位图算法、和/或可以服务于特定实施方式的任何其他合适的数据分析技术。
在一些示例中，机器学习模型202由一个或更多个神经网络来实现，例如使用其相应内核(滤波器)的内部存储器的一个或更多个深度卷积神经网络(CNN)(例如，MobileNetV2模型)、循环神经网络(RNN)和/或长/短期记忆神经网络(LSTM)。机器学习模型202可以是多层的。例如，机器学习模型202可以由包括输入层、一个或更多个隐藏层以及输出层的神经网络来实现。
机器学习模型202可以被训练以区分包括在视频流内的描绘体外内容(即，位于患者体外的内容)的图像帧和不描绘体外内容的图像帧。在一些示例中，不描绘体外内容的图像帧可以描绘体内内容(即，位于患者体内的内容)。这样的训练可以以任何合适的方式进行。例如，已经注释(例如，用元数据)为描绘体外内容的图像和已经注释(例如，用元数据)为描绘体内内容的图像可以作为训练输入提供给机器学习模型202。
在一些示例中，机器学习模型202的输出是特定图像帧为体内帧的概率。如本文所述，分类模块204可以将概率与阈值进行比较以确定是否将图像帧分类为体内帧或体外帧。
机器学习模型202可以由图像处理系统104维护，如图2所示。在一些替代实施例中，机器学习模型202可以由远离图像处理系统104的系统来维护。在这些替代实施例中，图像处理系统104可以将视频流(例如，通过网络)传送到远程系统以供机器学习模型202处理。
如提到的，分类模块204可以被配置为基于机器学习模型202的输出来确定视频流中包括的图像帧的内容分类。内容分类可以指示特定图像帧是描绘患者身体外部的内容的体外帧还是不描绘患者身体外部的内容的体内帧。
分类模块204可以以任何合适的方式确定特定图像帧的内容分类。例如，如上所述，机器学习模型202的输出可以是特定图像帧为体内帧的概率。分类模块204可以相应地将机器学习模型202输出的概率与阈值进行比较以确定图像帧的内容分类。例如，如果概率小于阈值，则分类模块202可以将图像帧分类为体外帧。可替换地，如果概率大于阈值，则分类模块202可以将图像帧分类为体内帧。
分类模块204与机器学习模块202输出的概率进行比较的阈值可以被设置为任何合适的值。例如，阈值可以被设置为相对高(例如，0.87或更高)以最大限度地减少误报(即，最小化即使它们实际上描绘了体外内容却被分类为体内帧的图像帧的数量)。
在一些示例中，图像处理系统104可以基于与医疗程序相关联的一个或更多个属性来设置阈值。例如，特定类型的手术可能需要相对高的阈值或相对低的阈值。图像处理系统104可以相应地确定与医疗程序相关联的属性并且基于该属性设置阈值。
在一些示例中，图像处理系统104可以基于一个或更多个因素动态地调整阈值。例如，可以基于太多图像帧被分类为体外帧的用户反馈在医疗程序期间动态地降低阈值。
图像帧的分类可以基于一个或更多个其他因素。
例如，图3示出了图像处理系统104的另一说明性实施方式300，其中时间平滑模块302被配置为将时间平滑滤波器应用于图像帧的内容分类和包括在视频流中的在时间上与所述图像帧相邻的一个或更多个其他图像帧的内容分类。如图所示，时间平滑模块302可以输出平滑的分类数据，其可以指示基于时间平滑滤波器的应用的一个或更多个图像帧的调整的内容分类。
例如，时间平滑模块302可以将时间平滑滤波器应用于视频流中的图像帧序列的分类的时间序列数据流。例如，如果五个相邻图像帧分别被分类为体内帧、体内帧、体外帧、体内帧和体内帧，则时间平滑滤波器可以将第三图像帧的内容分类从体外帧调整到体内帧。
由时间平滑模块302应用的时间平滑滤波器可以由任何合适的滤波器来实现。例如，时间平滑滤波器可以通过中值滤波器来实现，滤波器宽度根据视频流的帧速率确定，以对应于视频镜头的一秒。
另外或可替代地，如果成像装置102被附接至计算机辅助医疗系统的操纵器臂，而视频流由成像装置102生成，则分类模块204可被配置为进一步将图像帧的分类基于与计算机辅助医疗系统相关联的运动学数据。
为了说明，图4示出了图像处理系统104的另一个说明性实施方式400，其中分类模块204还被配置为访问与计算机辅助医疗系统402相关联的运动学数据并且使图像帧的分类基于运动学数据。分类模块204可以以任何合适的方式访问运动学数据。例如，分类模块204可以直接从计算机辅助医疗系统402接收运动学数据。本文描述了计算机辅助医疗系统402的说明性实施方式。
运动学数据可以指示成像装置102相对于患者身体的相对位置、成像装置102的移动、和/或可以指示成像装置102是在身体之内还是之外的其他类型的运动数据。例如，运动学数据可以指示成像装置102正在远离身体移动。当执行对在成像装置102远离身体移动时获取的图像帧的分类时，分类模块204可以以任何合适的方式考虑这一点。
在一些示例中，图像处理系统104可以使用运动学数据和/或任何其他合适的数据来识别医疗程序期间的时间间隔，在该时间间隔期间，成像装置102移动小于阈值量，从而指示成像装置102是静止的。基于此，图像处理系统104可以放弃将包括在视频流中并且对应于时间间隔的视频片段应用于机器学习模型202。这可以在成像装置102正移动期间节省处理资源。在一些示例中，在图像处理系统104放弃将视频流应用于机器学习模型202之前，时间间隔必须超过阈值时间量。
另外或可替代地，分类模块204可以被配置成进一步使图像帧的分类基于医疗程序的特定阶段。例如，医疗程序可被分为多个连续阶段，每个阶段对应于在医疗程序期间执行的一个或更多个操作。为了说明，第一阶段可对应于将成像装置102和/或特定的手术器械插入患者体内的时间段，第二阶段可对应于在医疗程序期间正在使用特定的手术器械(例如，烧灼工具)的时间段，并且第三阶段可以对应于从患者移除成像装置102和/或特定的手术器械的时间段。每个阶段可以与在该阶段期间获取的图像帧是体外帧还是体内帧的特定可能性相关联。
因此，图5示出了图像处理系统104的说明性实施方式500，其中阶段确定模块502被配置为输出表示与获取特定图像帧时相应的医疗程序的当前阶段的阶段数据。如图所示，分类模块204还被配置为使图像帧的分类基于阶段数据。阶段确定模块502可以基于用户输入、运动学数据、图像数据和/或以任何其他合适的方式确定阶段。
图像处理系统104可以基于图像帧的内容分类来执行关于图像帧的一个或更多个操作。例如，图6示出了图像处理系统104的说明性实施方式600，其中隐私管理模块602被配置为根据分类数据处理视频流并输出经处理的视频流。具体地，隐私管理模块602可以根据图像帧被分类为体外帧还是体内帧来针对视频流中包括的图像帧执行一个或更多个隐私相关操作。
为了说明，图7示出了可以由图像处理系统104和/或其任何实施方式执行的说明性方法700，并且图示了可以由图像处理系统104(例如，隐私管理模块602)执行的关于图像帧的示例性隐私相关操作。虽然图7描绘了根据一个实施例的说明性操作，但是其他实施例可以省略、添加、重新排序和/或修改图7中所示的任何操作。图7中所示的操作中的每个可以以本文描述的任何方式来执行。
在操作702处，图像处理系统104可以将视频流应用于机器学习模型202。如本文所描述的，视频流是在针对患者执行的医疗程序期间由成像装置102生成的。
在操作704处，图像处理系统104的分类模块204可以基于机器学习模块202的输出而对视频流中包括的图像帧进行分类。
如果分类模块204将图像帧分类为体内帧(“体内帧”，决策706)，则隐私管理模块602可以放弃对图像帧应用隐私增强操作(操作708)。可替换地，如果分类模块204将图像帧分类为体外帧(“体外帧”，决策706)，则隐私管理模块602可以对图像帧应用隐私增强操作(操作710)。
由于被分类为体外帧的图像帧通常在临床上不相关(即，如果它们从视频流中被移除或以某种方式模糊，则视频流对于观察者仍然有用)，因此图像处理系统104可以通过将隐私增强操作应用于分类为体外帧(即使被分类为体外帧的一些图像帧实际上可能不描绘个人可识别内容)的所有图像帧来节省处理资源。在替代实施方式中，如本文所述，图像处理系统104可以进一步分析被分类为体外帧的图像帧以确定它们是否临床相关，并且在一些示例中，放弃将隐私增强操作应用于被分类为体外帧的临床相关图像帧。
隐私管理模块602可以以任何合适的方式对图像帧应用隐私增强操作。例如，隐私管理模块602可以通过在传送视频流以在执行医疗程序的场所(例如，手术室、医院、诊所等)外呈现之前从视频流中移除图像帧来将隐私增强操作应用于图像帧。
为了说明，图8示出了包括图像帧804的序列(例如，图像帧804-1至804-8)的说明性视频流802-1。虽然八个图像帧804被示出为被包括在视频流802-1中，但是应当认识到，任何合适数量(例如，一个或更多个)的图像帧804可以被包括在视频流802中。
在该示例中，分类模块204将图像帧804-4和804-5分类为体外帧(如围绕图像帧804-4和804-5的粗边框所指示的)以及图像帧804-1至804-3和804-6至804-8作为体内帧。
箭头806表示由隐私管理模块602针对视频流802-1中包括的图像帧804执行的隐私操作。如图所示，隐私操作包括从视频流802-1中去除图像帧804-4和804-5以生成不包括图像帧804-4和804-5的经处理的视频流802-2。然后，经处理的视频流802-2可以由图像处理系统104(例如，在医疗程序期间基本上实时地)提供用于(例如，向手术室外的观察者)呈现。通过去除图像帧804-4和804-5，图像处理系统104可以确保图像帧804-4和804-5中可能描绘的个人可识别内容不被未授权的人看到。
另外或替代地，隐私管理模块602可以通过向图像帧应用模糊操作来向图像帧应用隐私增强操作。如本文所使用的，模糊操作是指至少部分地遮挡由图像帧描绘的内容的任何操作。如本文所描述的，模糊操作可以被应用于整个图像帧或图像帧的一部分。
图9示出了可以针对被分类为体外帧的图像帧执行的模糊操作。图9描绘了结合图8描述的相同视频流802-1。如结合图8描述的，图像帧404-4和404-5被分类为体外帧。基于此，可以将模糊操作应用于图像帧404-4和404-5，如经处理的视频流802-2中的图像帧404-4和404-5上的阴影线标记所示。
在一些示例中，图像处理系统104可以基于机器学习模型202的输出的置信区间来确定要应用于图像帧的模糊程度，并且根据模糊程度将模糊操作应用于图像帧。
例如，如果机器学习模型202的输出的置信区间对于特定图像帧相对较高(从而指示图像帧的分类准确的可能性相对较高)，则可以将相对较高程度的模糊应用于图像帧，以确保个人可识别内容被适当遮挡。相反，如果机器学习模型202的输出的置信区间对于特定图像帧相对较低，则可以对图像帧应用相对较低程度的模糊。
在一些示例中，隐私增强操作(例如，模糊操作)可以仅应用于图像帧的一部分(例如，描绘个人可识别内容的部分)，而不是应用于整个图像帧。以这种方式，观察者可能仍然能够看到图像帧中未描绘个人可识别内容的部分。
例如，图像处理系统104可以在被分类为体外帧的图像帧内识别描绘个人可识别内容的第一像素区域和不描绘个人可识别内容的第二像素区域。图像处理系统104(例如，隐私管理模块602)然后可以将隐私增强操作应用于第一像素区域并且放弃将隐私增强操作应用于第二像素区域。
为了说明，图10示出了包括多个像素(例如，像素1002-1和像素1002-2)的图像帧1000。在该示例中，包括像素1002-1和各种其他像素的像素区域1004-1描绘个人可识别内容。然而，包括像素1002-2和未被示出为位于该像素区域1004-1中的所有其他像素的像素区域1004-2不描绘个人可识别内容。在一些示例中，图像处理系统104可以识别像素区域1004-1并且相应地将隐私增强操作应用于像素区域1004-1(并且不应用于像素区域1004-2)。
图像处理系统104可以以任何合适的方式识别描绘个人可识别内容的像素区域。例如，图像处理系统104可以将图像帧应用于机器学习模型(例如，被训练以识别图像帧中描绘的个人可识别内容的机器学习模型)并且基于机器学习模型的输出来识别图像帧内描绘个人可识别内容的像素区域。该机器学习模型可以是任何合适的类型，例如本文描述的任何类型。另外或替代地，图像处理系统104可以使用任何其他合适的图像处理技术来识别描绘个人可识别内容的像素区域。
如上所述，视频流中包括的图像帧可以包括一个或更多个可见光图像帧(即，使用可见光照明获取的一个或更多个图像)和/或一个或更多个替代成像模态帧(例如，使用不可见光获取的一个或更多个图像)。说明性的替代成像模态帧包括使用具有近红外光区域中的波长的荧光激发照明采集的荧光图像。为此，成像装置102可以由被配置为生成可见光图像帧和替代成像模态帧的一个或更多个成像装置102来实现。
在一些示例中，机器学习模型202可以通过单独的机器学习模型来实现，每个机器学习模型针对不同的成像模态被训练。例如，图11示出了图像处理系统104的说明性配置1100，其中使用单独的机器学习模型202-1和202-2来处理可见光图像帧和替代成像模态帧。如图所示，帧类型识别器1108可以被配置为识别视频流中包括的可见光图像帧和视频流中包括的替代成像模态帧。帧类型识别器1108可以以任何合适的方式识别这些不同类型的图像帧。
如图所示，帧类型识别器1108可以将可见光图像帧应用于机器学习模型202-1并且将替代成像模态帧应用于机器学习模型202-2。机器学习模型202-1可被训练以输出可由分类模块204使用的数据以将可见光图像帧分类为体外帧或体内帧。同样，机器学习模型202-2可被训练以输出可由分类模块204使用的数据，以将替代成像模态帧分类为体外帧或体内帧。
在一些示例中，帧类型识别器1108可以通过检测成像装置102从以可见光模式操作到以替代成像模式操作的转变来将可见光图像帧应用于机器学习模型202-1并且将替代成像模态帧应用于机器学习模型202-2。响应于该转变，帧类型识别器1108可以从将视频流应用于机器学习模型202-1切换到将视频流应用于机器学习模型202-2。
虽然图11中示出了两个机器学习模型202，但是任何数量(例如，多于两个)的机器学习模型也可用于分析任何数量的不同类型的成像模态。
如上所述，图像处理系统104可以进一步分析被分类为体外帧的图像帧以确定它们是否与临床相关，并且在一些示例中，放弃对被确定为与临床相关的这种体外帧应用隐私增强操作。例如，如果被分类为体外帧的图像帧描绘了位于患者外部的切除组织(excised tissue)，则图像处理系统104可以放弃对图像帧的至少一部分应用隐私增强操作，即使该图像帧是被归类为体外帧。
为了说明，图12示出了可由图像处理系统104和/或其任何实施方式执行的说明性方法1200。虽然图12描绘了根据一个实施例的说明性操作，但是其他实施例可以省略、添加、重新排序和/或修改图12中所示的任何操作。图12所示的每个操作可以以本文描述的任何方式来执行。
在操作1202处，图像处理系统104可以将视频流应用于机器学习模型202。如本文所描述的，视频流是在针对患者执行的医疗程序期间由成像装置102生成的。
在操作1204处，图像处理系统104的分类模块204可以基于机器学习模块202的输出而对视频流中包括的图像帧进行分类。
如果分类模块204将图像帧分类为体内帧(“体内帧”，决策1206)，则隐私管理模块602可以放弃对图像帧应用隐私增强操作(操作1208)。
可替换地，如果分类模块204将图像帧分类为体外帧(“体外帧”，决策1206)，则在决策1210处，隐私管理模块602可以确定图像帧是否描绘位于患者外部的切除组织。可以使用任何合适的图像处理技术以任何合适的方式做出该确定。
例如，隐私管理模块602可以将图像帧应用于被训练来识别切除组织的机器学习模型。该机器学习模型可以是任何合适的类型，例如本文描述的任何类型。
作为另一示例，隐私管理模块602可以确定在特定时间间隔期间正在使用成像装置102来捕获切除组织的一个或更多个图像。该确定可以基于用户输入、运动学数据、成像装置102的操作模式(例如，静止图像捕获模式)和/或以任何其他合适的方式来做出。如果图像帧与被包括在特定时间间隔中的时间戳相关联，则隐私管理模块602可以确定图像帧描绘切除组织。
如果确定图像帧没有描绘切除组织(“否”，决定1210)，则在操作1212处，隐私管理模块602可以对图像帧应用隐私增强操作。
可替换地，如果图像帧被确定为描绘切除组织(“是”，决策1210)，则隐私管理模块602可以将该图像帧指定为临床相关的体外帧，并且因此在操作1214处放弃将隐私增强操作应用于图像帧的至少一部分。
例如，隐私管理模块602可以将图像帧保留在视频流中，即使图像帧被分类为体外帧。
虽然本文描述的示例已经在将视频流应用于机器学习模型202的背景下，但是将认识到，单个静止图像也可以应用于机器学习模型202以将图像分类为体外帧或分类为体内帧。
作为另一个示例，在操作1214处，隐私管理模块602可以通过识别图像帧内描绘切除组织的第一像素区域、识别图像帧内不描绘切除组织的第二像素区域、对第二像素区域应用隐私增强操作(例如，模糊操作)并且放弃对第一像素区域应用隐私增强操作，从而放弃对图像帧的至少一部分应用隐私增强操作。这可以以与结合图10描述的类似的方式来执行。
如已经描述的，在某些示例中，成像装置102和/或图像处理系统104可以与用于在身体上执行医疗程序(例如，荧光引导医疗程序)的计算机辅助医疗系统相关联。为了说明，图13示出了示例性计算机辅助医疗系统1300，其可以用于执行包括外科手术和/或非外科手术程序的各种类型的医疗程序。
如图所示，计算机辅助医疗系统1300可以包括操纵器组件1302(图13中示出了操纵器推车)、用户控制装置1304和辅助装置1306，所有这些都彼此通信地耦合。计算机辅助医疗系统1300可以由医疗团队用来在患者1308的身体上或在可以服务于特定实施方式的任何其他身体上执行计算机辅助医疗程序或其他类似的操作。如图所示，医疗团队可以包括第一用户1310-1(诸如进行外科手术程序的外科医生)、第二用户1310-2(诸如患者侧助理)、第三用户1310-3(诸如另一名助理、护士、实习生等)和第四用户1310-4(例如外科手术程序的麻醉师)，所有这些人可以统称为用户1310，并且每个用户可以控制计算机辅助医疗系统1300、与计算机辅助医疗系统1300交互或者以其他方式作为计算机辅助医疗系统1300的用户。在医疗程序期间可以存在可以服务于特定的实施方式的更多、更少或替代的用户。例如，不同医疗程序或非医疗程序的团队组成可以不同并且包括具有不同角色的用户。
虽然图13示出了正在进行的微创医疗程序，诸如微创外科手术程序，但是应当理解，计算机辅助医疗系统1300可以类似地用于执行开放式医疗程序或其他类型的操作。例如，还可以执行诸如探索性成像操作、用于训练目的的模拟医疗程序的操作和/或其他操作。
如图13所示，操纵器组件1302可以包括一个或更多个操纵器臂1312(例如，操纵器臂1312-1至1312-4)，一个或更多个器械可耦合到该操纵器臂1312。这些器械可用于对患者1308进行计算机辅助医疗程序(例如，在外科手术示例中，通过至少部分地插入患者1308体内并在患者1308体内进行操作)。虽然操纵器组件1302在本文中被描绘和描述为包括四个操纵器臂1312，但是应当认识到，操纵器组件1302可包括单个操纵器臂1312或可服务于特定实施方式的任何其他数量的操纵器臂。虽然图13的示例将操纵器臂1312示出为机器人操纵器臂，但是应当理解，在一些示例中，一个或更多个器械可以部分或完全手动控制，诸如通过由人手持和手动控制。例如，这些部分或完全手动控制的器械可与耦合到图13中所示的操纵器臂1312的计算机辅助器械结合使用或作为其替代。
在医疗操作期间，用户控制装置1304可以被配置为促进用户1310-1对操纵器臂1312和附接至操纵器臂1312的器械进行远程操作控制。为此，用户控制设备1304可以向用户1310-1提供由成像装置捕获的与患者1308相关联的操作区域的影像。为了便于控制器械，用户控制装置1304可以包括一组主控制器。这些主控制器可以由用户1310-1操纵以控制操纵器臂1312或耦合到操纵器臂1312的任何器械的移动。
辅助装置1306可以包括一个或更多个计算装置，其被配置为执行支持医疗程序的辅助功能，诸如为成像装置、图像处理或协调计算机辅助医疗系统1300的部件提供吹气、电灼能量、照明或其他能量。在一些示例中，辅助装置1306可以被配置有显示监视器1314，该显示监视器1314被配置为显示一个或更多个用户界面、或者支持医疗程序的图形或文本信息。在一些情况下，显示监视器1314可以由触摸屏显示器来实现并且提供用户输入功能。由基于区域的增强系统提供的增强内容可以和与显示监视器1314或操作区域(未示出)中的一个或更多个显示装置相关联的内容类似或不同。
操纵器组件1302、用户控制设备1304和辅助设备1306可以以任何合适的方式彼此通信地耦合。例如，如图13所示，操纵器组件1302、用户控制设备1304和辅助设备1306可以通过控制线1316通信地耦合，控制线1316可以表示可以服务于特定实施方式的任何有线或无线通信链路。为此，操纵器组件1302、用户控制设备1304和辅助设备1306可各自包括一个或更多个有线或无线通信接口，诸如一个或更多个局域网接口、Wi-Fi网络接口、蜂窝接口等。
在某些实施例中，本文描述的一个或更多个过程可以至少部分地实现为呈现在非暂时性计算机可读介质中并且可由一个或更多个计算装置执行的指令。一般而言，处理器(例如，微处理器)从非暂时性计算机可读介质(例如，存储器等)接收指令，并执行这些指令，从而执行一个或更多个过程，包括在此描述的过程中的一个或更多个。这样的指令可以使用多种已知的计算机可读介质中的任一种来存储和/或传送。
计算机可读介质(也称为处理器可读介质)包括参与提供可由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性介质。这样的介质可以采用多种形式，包括但不限于非易失性介质和/或易失性介质。非易失性介质可以包括例如光盘或磁盘以及其他持久存储器。易失性介质可以包括例如动态随机存取存储器(“DRAM”)，其通常构成主存储器。计算机可读介质的常见形式包括例如磁盘、硬盘、磁带、任何其他磁性介质、光盘只读存储器(“CD-ROM”)、数字视频光盘(“DVD”)、任何其他光学介质、随机存取存储器(“RAM”)、可编程只读存储器(“PROM”)、电可擦除可编程只读存储器(“EPROM”)、FLASH-EEPROM、任何其他存储芯片或盒，或计算机可以读取的任何其他有形介质。
图14示出了可以被具体配置为执行本文描述的过程中的一个或更多个的说明性计算装置1400。本文描述的任何系统、计算装置和/或其他部件可以由计算装置1400来实现。
如图14所示，计算装置1400可以包括经由通信基础设施1410彼此通信连接的通信接口1402、处理器1404、存储装置1406和输入/输出(“I/O”)模块1408。虽然图14中示出了说明性计算装置1400，但是图14中所示的部件并不旨在进行限制。在其他实施例中可以使用附加的或替代的部件。图14中所示的计算装置1400的部件现在将被更详细地描述。
通信接口1402可以被配置为与一个或更多个计算装置通信。通信接口1402的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(例如无线网络接口卡)、调制解调器、音频/视频连接和任何其他合适的接口。
处理器1404一般表示能够处理数据和/或解释、执行和/或指导本文描述的指令、过程和/或操作中的一个或更多个的执行的任何类型或形式的处理单元。处理器1404可以通过执行存储在存储装置1406中的计算机可执行指令1412(例如，应用程序、软件、代码和/或其他可执行数据实例)来执行操作。
存储装置1406可以包括一个或更多个数据存储介质、装置或配置，并且可以采用数据存储介质和/或装置的任何类型、形式和组合。例如，存储装置1406可以包括但不限于本文描述的非易失性介质和/或易失性介质的任何组合。电子数据(包括本文所述的数据)可以被临时地和/或永久地存储在存储装置1406中。例如，表示被配置为指导处理器1404执行本文描述的任何操作的计算机可执行指令1412的数据可以被存储在存储装置1406内。在一些示例中，数据可以被布置在驻留在存储装置1406内的一个或更多个数据库中。
I/O模块1408可以包括被配置为接收用户输入并提供用户输出的一个或更多个I/O模块。I/O模块1408可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，I/O模块1408可以包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或小键盘、触摸屏组件(例如触摸屏显示器)、接收器(例如RF或红外接收器)、运动传感器和/或一个或更多个输入按钮。
I/O模块1408可以包括用于向用户呈现输出的一个或更多个装置，包括但不限于图形引擎、显示器(例如，显示屏)、一个或更多个输出驱动器(例如，显示驱动器)、一个或更多个音频扬声器以及一个或更多个音频驱动器。在某些实施例中，I/O模块1408被配置为向显示器提供图形数据以呈现给用户。图形数据可以表示一个或更多个图形用户界面和/或可以服务于特定实施方式的任何其他图形内容。
在前面的描述中，已经参照附图描述了各种说明性实施例。然而，显然的是，在不脱离所附权利要求中阐述的本发明的范围的情况下，可以进行各种修改和改变，并且可以实现另外的实施例。例如，本文描述的一个实施例的某些特征可以与本文描述的另一实施例的特征组合或者替代本文描述的另一实施例的特征。因此，说明书和附图应被视为说明性的而非限制性的。

Claims (51)

1.一种系统，包括：
存储指令的存储器；和
处理器，其通信地耦合到所述存储器并被配置为执行所述指令以：
将视频流应用于机器学习模型，所述视频流由成像装置在针对患者执行的医疗程序期间生成；
基于机器学习模型的输出，将视频流中包含的图像帧分类为描述所述患者的身体外部的内容的体外帧；以及
基于将所述图像帧分类为所述体外帧，对所述图像帧应用隐私增强操作。
2.根据权利要求1所述的系统，其中所述处理器还被配置为执行所述指令以：
基于所述机器学习模型的所述输出，确定所述视频流中包括的附加图像帧描绘了所述患者的身体内部的内容；以及
基于确定所述附加图像帧描绘所述患者的身体内部的内容，放弃对所述图像帧应用所述隐私增强操作。
3.根据权利要求1所述的系统，其中对所述图像帧应用所述隐私增强操作包括在传送所述视频流以用于在执行所述医疗程序的场所外呈现之前从所述视频流中移除所述图像帧。
4.根据权利要求1所述的系统，其中对所述图像帧应用所述隐私增强操作包括对所述图像帧应用模糊操作。
5.根据权利要求4所述的系统，其中应用所述模糊操作包括：
基于所述机器学习模型的所述输出的置信区间，确定要应用于所述图像帧的模糊程度；以及
根据所述模糊程度应用所述模糊操作。
6.根据权利要求1所述的系统，其中将所述隐私增强操作应用于所述图像帧包括：
识别所述图像帧内描绘个人可识别内容的第一像素区域和不描绘所述个人可识别内容的第二像素区域；
对所述第一像素区域应用所述隐私增强操作；以及
放弃对所述第二像素区域应用所述隐私增强操作。
7.根据权利要求6所述的系统，其中识别描绘所述个人可识别内容的所述第一像素区域包括：
将所述图像帧应用于附加机器学习模型；以及
基于所述附加机器学习模型的输出来识别描绘所述个人可识别内容的所述第一像素区域。
8.根据权利要求1所述的系统，其中：
当所述视频流由所述成像装置生成时，所述成像装置被附接到计算机辅助医疗系统的操纵器臂；
所述处理器还被配置为执行所述指令以访问与所述计算机辅助医疗系统相关联的运动学数据；以及
所述分类进一步基于所述运动学数据。
9.根据权利要求1所述的系统，其中：
所述处理器还被配置为执行所述指令以确定所述医疗程序的阶段；以及
所述分类进一步基于所述医疗程序的所述阶段。
10.根据权利要求1所述的系统，其中所述处理器还被配置为执行所述指令以：
识别所述医疗程序期间的时间间隔，在所述时间间隔期间，所述成像装置移动小于阈值量；以及
放弃将所述视频流中包括的并且对应于所述时间间隔的视频片段应用于所述机器学习模型。
11.根据权利要求1所述的系统，其中：
所述视频流包括一个或更多个可见光图像帧和一个或更多个替代成像模态帧；以及
将所述视频流应用于所述机器学习模型包括：
将所述一个或更多个可见光图像帧应用于第一机器学习模型，以及
将所述一个或更多个替代成像模态帧应用于第二机器学习模型。
12.根据权利要求11所述的系统，其中将所述一个或更多个可见光图像帧应用于所述第一机器学习模型以及将所述一个或更多个替代成像模态帧应用于所述第二机器学习模型包括：
检测所述成像装置从以可见光模式操作到以替代成像模式操作的转变；以及
响应于所述转变，从将所述视频流应用于所述第一机器学习模型切换到将所述视频流应用于所述第二机器学习模型。
13.根据权利要求1所述的系统，其中将所述视频流应用于所述机器学习模型、所述分类以及应用所述隐私增强操作是在执行所述医疗程序的同时执行的。
14.一种系统，包括：
存储指令的存储器；和
处理器，其通信地耦合到所述存储器并被配置为执行所述指令以：
将视频流应用于机器学习模型，所述视频流由成像装置在针对患者执行的医疗程序期间生成；
基于所述机器学习模型的输出，将所述视频流中包括的第一多个图像帧分类为描绘所述患者的身体内部的内容的体内帧；以及
基于将所述第一多个图像帧分类为体内帧，对所述视频流中包括的第二多个图像帧应用隐私增强操作，所述第二多个图像帧不被包括在所述第一多个图像帧中。
15.根据权利要求14所述的系统，其中应用所述隐私增强操作包括在传送所述视频流以用于在执行所述医疗程序的场所外呈现之前从所述视频流移除所述第二多个图像帧。
16.根据权利要求14所述的系统，其中应用所述隐私增强操作包括对所述第二多个图像帧应用模糊操作。
17.根据权利要求14所述的系统，其中：
当所述视频流由所述成像装置生成时，所述成像装置被附接到计算机辅助医疗系统的操纵器臂；
所述处理器还被配置为执行所述指令以访问与所述计算机辅助医疗系统相关联的运动学数据；以及
所述分类进一步基于所述运动学数据。
18.根据权利要求14所述的系统，其中：
所述处理器还被配置为执行所述指令以确定所述医疗程序的阶段；以及
所述分类进一步基于所述医疗程序的所述阶段。
19.一种系统，包括：
存储指令的存储器；和
处理器，其通信地耦合到所述存储器并且被配置为执行所述指令以：
将视频流应用于机器学习模型，所述视频流由成像装置在针对患者执行的医疗程序期间生成；
基于所述机器学习模型的输出，确定所述视频流中包括的图像帧的内容分类，所述内容分类指示所述图像帧是描绘所述患者的身体外部的内容的体外帧还是不描绘所述患者的身体外部的内容的体内帧；以及
基于所述内容分类，对所述图像帧执行操作。
20.根据权利要求19所述的系统，其中：
确定所述内容分类包括确定所述图像帧是描绘所述患者的身体外部的内容的所述体外帧；以及
执行所述操作包括对所述图像帧应用隐私增强操作。
21.根据权利要求20所述的系统，其中将所述隐私增强操作应用于所述图像帧包括在传送所述视频流以用于在执行所述医疗程序的场所外呈现之前从所述视频流中移除所述图像帧。
22.根据权利要求20所述的系统，其中对所述图像帧应用所述隐私增强操作包括对所述图像帧应用模糊操作。
23.根据权利要求22所述的系统，其中所述应用模糊操作包括：
基于所述机器学习模型的所述输出的置信区间，确定要应用于所述图像帧的模糊程度；以及
根据所述模糊程度应用所述模糊操作。
24.根据权利要求20所述的系统，其中将所述隐私增强操作应用于所述图像帧包括：
识别所述图像帧内描绘个人可识别内容的第一像素区域和不描绘所述个人可识别内容的第二像素区域；以及
对所述第一像素区域应用所述隐私增强操作；以及
放弃对所述第二像素区域应用所述隐私增强操作。
25.根据权利要求24所述的系统，其中识别描绘所述个人可识别内容的所述第一像素区域包括：
将所述图像帧应用于附加机器学习模型；以及
基于所述附加机器学习模型的输出，识别描绘所述个人可识别内容的所述第一像素区域。
26.根据权利要求19所述的系统，其中：
确定所述内容分类包括确定所述图像帧是不包括所述患者的身体外部的内容的所述体内帧；以及
执行所述操作包括放弃对所述图像帧应用隐私增强操作。
27.根据权利要求19所述的系统，其中：
所述机器学习模型的所述输出是所述图像帧是所述体内帧的概率；以及
确定所述图像帧的所述内容分类包括：
如果所述概率小于阈值，则将所述图像帧分类为所述体外帧；以及
如果所述概率大于所述阈值，则将所述图像帧分类为所述体外帧。
28.根据权利要求27所述的系统，其中所述处理器还被配置为执行所述指令以：
确定与所述医疗程序相关联的属性；以及
根据所述属性设置所述阈值。
29.根据权利要求19所述的系统，其中：
当所述视频流由所述成像装置生成时，所述成像装置被附接到计算机辅助医疗系统的操纵器臂；
所述处理器还被配置为执行所述指令以访问与所述计算机辅助医疗系统相关联的运动学数据；以及
确定所述内容分类还基于所述运动学数据。
30.根据权利要求19所述的系统，其中：
所述处理器还被配置为执行所述指令以针对所述图像帧的所述内容分类和所述视频流中包括的在时间上与所述图像帧相邻的一个或更多个其他图像帧的内容分类应用时间平滑滤波器；以及
基于所述时间平滑滤波器的应用来调整所述图像帧的所述内容分类。
31.根据权利要求19所述的系统，其中：
所述处理器还被配置为执行所述指令以确定所述医疗程序的阶段；以及
确定所述内容分类还基于所述医疗程序的所述阶段。
32.根据权利要求19所述的系统，其中所述处理器还被配置为执行所述指令以：
识别所述医疗程序期间的时间间隔，在所述时间间隔期间，所述成像装置移动小于阈值量；以及
放弃将所述视频流中包括的并且对应于所述时间间隔的视频片段应用于所述机器学习模型。
33.根据权利要求19所述的系统，其中：
确定所述内容分类包括确定所述图像帧是描绘所述患者的身体外部的内容的所述体外帧；以及
执行所述操作包括：
确定所述图像帧描绘位于所述患者外部的切除组织，以及
基于确定所述图像帧描绘所述切除组织而放弃对所述图像帧的至少一部分应用隐私增强操作。
34.根据权利要求33所述的系统，其中放弃对所述图像帧的至少所述部分应用所述隐私增强操作包括将所述图像帧保留在所述视频流中。
35.根据权利要求33所述的系统，其中放弃对所述图像帧的至少所述部分应用所述隐私增强操作包括：
识别所述图像帧内描绘所述切除组织的第一像素区域；
识别所述图像帧内不描绘所述切除组织的第二像素区域；
对所述第二像素区域应用所述隐私增强操作；以及
放弃对所述第一像素区域应用所述隐私增强操作。
36.根据权利要求33所述的系统，其中确定所述图像帧描绘所述切除组织包括将所述图像帧应用于附加的机器学习模型。
37.根据权利要求33所述的系统，其中确定所述图像帧描绘所述切除组织包括：
确定所述成像装置在特定时间间隔期间正在被使用以捕获所述切除组织的一个或更多个图像；以及
确定所述图像帧与包括在所述特定时间间隔中的时间戳相关联。
38.根据权利要求19所述的系统，其中：
所述视频流包括一个或更多个可见光图像帧和一个或更多个替代成像模态帧；以及
将所述视频流应用于所述机器学习模型包括：
将所述一个或更多个可见光图像帧应用于第一机器学习模型，以及
将所述一个或更多个替代成像模态帧应用于第二机器学习模型。
39.根据权利要求38所述的系统，其中将所述一个或更多个可见光图像帧应用于所述第一机器学习模型以及将所述一个或更多个替代成像模态帧应用于所述第二机器学习模型包括：
检测所述成像装置从以可见光模式操作到以替代成像模式操作的转变；以及
响应于所述转变，从将所述视频流应用于所述第一机器学习模型切换到将所述视频流应用于所述第二机器学习模型。
40.根据权利要求19所述的系统，其中将所述视频流应用于所述机器学习模型、确定所述内容分类以及执行所述操作是在执行所述医疗程序的同时执行的。
41.一种系统，包括：
成像装置，其被配置为在针对患者执行的医疗程序期间生成视频流；以及
图像处理系统，其被配置为：
从所述成像装置接收所述视频流；
将所述视频流应用于机器学习模型；
基于所述机器学习模型的输出确定所述视频流中包括的图像帧的内容分类，所述内容分类指示所述图像帧是描绘所述患者的身体外部的内容的体外帧还是不描绘所述患者的身体外部的内容的体内帧；和
基于所述内容分类，对所述图像帧执行操作。
42.一种方法，包括：
通过图像处理系统将视频流应用于机器学习模型，所述视频流由成像装置在针对患者执行的医疗程序期间生成；
通过所述图像处理系统基于所述机器学习模型的输出，将所述视频流中包括的图像帧分类为描绘所述患者的身体外部的内容的体外帧；以及
通过所述图像处理系统基于将所述图像帧分类为所述体外帧，对所述图像帧应用隐私增强操作。
43.一种方法，包括：
通过图像处理系统将视频流应用于机器学习模型，所述视频流由成像装置在针对患者执行的医疗程序期间生成；
通过所述图像处理系统基于所述机器学习模型的输出将所述视频流中包括的第一多个图像帧分类为描绘所述患者的身体内部的内容的体内帧；以及
通过所述图像处理系统基于将所述第一多个图像帧分类为体内帧，对所述视频流中包括的第二多个图像帧应用隐私增强操作，所述第二多个图像帧不被包括在所述第一多个图像帧中。
44.一种方法，包括：
通过图像处理系统将视频流应用于机器学习模型，所述视频流由成像装置在针对患者执行的医疗程序期间生成；
通过所述图像处理系统基于所述机器学习模型的输出确定所述视频流中包括的图像帧的内容分类，所述内容分类指示所述图像帧是描述所述患者的身体外部的内容的体外帧还是不描绘所述患者的身体外部的内容的体内帧；和
通过所述图像处理系统基于所述内容分类对所述图像帧执行操作。
45.根据权利要求44所述的方法，其中：
确定所述内容分类包括确定所述图像帧是描绘所述患者的身体外部的内容的体外帧；以及
执行所述操作包括对所述图像帧应用隐私增强操作。
46.根据权利要求45所述的方法，其中将所述隐私增强操作应用于所述图像帧包括在传送所述视频流以用于在执行所述医疗程序的场所外呈现之前从所述视频流移除所述图像帧。
47.根据权利要求45所述的方法，其中对所述图像帧应用所述隐私增强操作包括对所述图像帧应用模糊操作。
48.根据权利要求44所述的方法，其中：
确定所述内容分类包括确定所述图像帧是描绘所述患者的身体外部的内容的所述体外帧；以及
执行所述操作包括：
确定所述图像帧描绘位于所述患者外部的切除组织，以及
基于确定所述图像帧描绘所述切除组织，放弃对所述图像帧的至少一部分应用隐私增强操作。
49.一种存储指令的非暂时性计算机可读介质，当被执行时，所述指令指导计算装置的处理器执行以下操作：
将视频流应用于机器学习模型，所述视频流由成像装置在针对患者执行的医疗程序期间生成；
基于所述机器学习模型的输出，将所述视频流中包括的图像帧分类为描绘所述患者的身体外部的内容的体外帧；
基于将所述图像帧分类为所述体外帧，对所述图像帧应用隐私增强操作。
50.一种存储指令的非暂时性计算机可读介质，当被执行时，所述指令指导计算装置的处理器执行以下操作：
将视频流应用于机器学习模型，所述视频流由成像装置在针对患者执行的医疗程序期间生成；
基于所述机器学习模型的输出，确定所述视频流中包括的图像帧的内容分类，所述内容分类指示所述图像帧是描绘所述患者的身体外部的内容的体外帧还是不描绘所述患者的身体外部的内容的体内帧；以及
基于所述内容分类，对所述图像帧执行操作。
51.一种存储指令的非暂时性计算机可读介质，当被执行时，所述指令指导计算装置的处理器执行以下操作：
将视频流应用于机器学习模型，所述视频流由成像装置在针对患者执行的医疗程序期间生成；
基于所述机器学习模型的输出确定所述视频流中包括的图像帧的内容分类，所述内容分类指示所述图像帧是描绘所述患者的身体外部的内容的体外帧还是不描绘所述患者的身体外部的内容的体内帧；以及
基于所述内容分类，对所述图像帧执行操作。
CN202280044546.XA 2021-06-28 2022-06-24 保护医疗程序中成像装置生成的视频流中的个人可识别内容 Pending CN117546214A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163215870P 2021-06-28 2021-06-28
US63/215,870 2021-06-28
PCT/US2022/073159 WO2023278965A1 (en) 2021-06-28 2022-06-24 Protection of personally identifiable content in a video stream generated by an imaging device during a medical procedure

Publications (1)

Publication Number Publication Date
CN117546214A true CN117546214A (zh) 2024-02-09

Family

ID=82703198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280044546.XA Pending CN117546214A (zh) 2021-06-28 2022-06-24 保护医疗程序中成像装置生成的视频流中的个人可识别内容

Country Status (4)

Country Link
US (1) US20240273900A1 (zh)
EP (1) EP4364104A1 (zh)
CN (1) CN117546214A (zh)
WO (1) WO2023278965A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2585691B (en) * 2019-07-11 2024-03-20 Cmr Surgical Ltd Anonymising robotic data

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2585691B (en) * 2019-07-11 2024-03-20 Cmr Surgical Ltd Anonymising robotic data
US20230316756A1 (en) * 2020-11-22 2023-10-05 Intuitive Surgical Operations, Inc. Systems and methods for surgical data censorship

Also Published As

Publication number Publication date
EP4364104A1 (en) 2024-05-08
WO2023278965A1 (en) 2023-01-05
US20240273900A1 (en) 2024-08-15

Similar Documents

Publication Publication Date Title
KR101926123B1 (ko) 수술영상 분할방법 및 장치
US11776680B2 (en) Method and system for real-time and offline de-identification of facial regions from regular and occluded color video streams obtained during diagnostic medical procedures
US11875897B2 (en) Medical image processing apparatus, method, and program, and diagnosis support apparatus, method, and program
CN110838118A (zh) 用于医疗过程中异常检测的系统和方法
US20210142487A1 (en) Surgical scene assessment based on computer vision
KR102146672B1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
KR20210157915A (ko) 원시 외과적 시술 비디오들의 익명화를 위한 방법 및 시스템
JP7380557B2 (ja) 情報処理システム、情報処理装置及び情報処理方法
US20220095889A1 (en) Program, information processing method, and information processing apparatus
US20230352133A1 (en) Systems and methods for processing medical data
KR102222509B1 (ko) 의료 영상에 관한 판단을 보조하는 방법 및 이를 이용한 장치
CN117546214A (zh) 保护医疗程序中成像装置生成的视频流中的个人可识别内容
US20230363836A1 (en) Systems and methods for detecting, localizing, assessing, and visualizing bleeding in a surgical field
Vasconcelos et al. Towards computer-assisted TTTS: Laser ablation detection for workflow segmentation from fetoscopic video
Kim et al. Deep-learning-based cerebral artery semantic segmentation in neurosurgical operating microscope vision using indocyanine green fluorescence videoangiography
WO2023166417A1 (en) Apparatus, systems, and methods for intraoperative instrument tracking and information visualization
Lai et al. Intraoperative detection of surgical gauze using deep convolutional neural network
US20210334591A1 (en) Training set enrichment with insignificantly-abnormal medical images
US20210304872A1 (en) Artificial neural network combining sensory signal classification and image generation
US20220108448A1 (en) Image recording apparatus, information processing apparatus, information processing method, and recording medium
US20230326023A1 (en) Method and system for generating label of medical image
US11809599B2 (en) Three-dimensional medical image anonymization method and apparatus
US20240087322A1 (en) Processing Images to Associate with Stages of a Surgical Procedure
Chae et al. Imaging and printing in plastic and reconstructive surgery part 2: emerging techniques
WO2023038861A1 (en) Selective use of different video streams generated by an imaging device to perform an image-based operation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination