CN112784672A - 基于计算机视觉的手术场景评估 - Google Patents

基于计算机视觉的手术场景评估 Download PDF

Info

Publication number
CN112784672A
CN112784672A CN202011230081.6A CN202011230081A CN112784672A CN 112784672 A CN112784672 A CN 112784672A CN 202011230081 A CN202011230081 A CN 202011230081A CN 112784672 A CN112784672 A CN 112784672A
Authority
CN
China
Prior art keywords
objects
image frames
surgical
image frame
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011230081.6A
Other languages
English (en)
Inventor
许婉欣
黄科凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112784672A publication Critical patent/CN112784672A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2218/00—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2218/001—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body having means for irrigation and/or aspiration of substances to and/or from the surgical site
    • A61B2218/007—Aspiration
    • A61B2218/008—Aspiration for smoke evacuation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F13/00—Bandages or dressings; Absorbent pads
    • A61F13/15—Absorbent pads, e.g. sanitary towels, swabs or tampons for external or internal application to the body; Supporting or fastening means therefor; Tampon applicators
    • A61F13/44—Absorbent pads, e.g. sanitary towels, swabs or tampons for external or internal application to the body; Supporting or fastening means therefor; Tampon applicators with radio-opaque material or signalling means for residual material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

实施方式通常涉及基于计算机视觉的手术场景评估。在一些实施方式中，一种方法包括：接收与手术场景相关联的多个图像帧中的第一图像帧。该方法还包括检测第一图像帧中的一个或多个对象。该方法还包括确定与所述一个或多个对象相对应的一个或多个位置。该方法还包括跟踪一个或多个对象在多个图像帧的其他图像帧中的每个位置。

Description

基于计算机视觉的手术场景评估
相关申请的交叉引用
本申请要求在2019年11月8日提交的、标题为“具有基于计算机视觉的检测和跟踪的手术场景理解系统(A Surgical Scene Understanding System with ComputerVision-based Detection and Tracking)”的美国临时专利申请第62/932595号的权益，该申请通过引用结合于此，就像在本申请中为了所有目的而全面阐述一样。
背景技术
计算机辅助手术使用计算机技术来引导或执行医疗过程，诸如涉及内窥镜检查、腹腔镜检查等的过程。在手术期间，外科医生可能需要使用各种工具来执行手术。相机和监视器可以帮助外科医生执行手术过程。然而，手术相机或视频序列未被充分利用。
发明内容
实施方式总体上涉及基于计算机视觉的手术场景评估。在一些实施方式中，系统包括一个或多个处理器，并且包括编码在一个或多个非瞬态计算机可读存储介质中以供由一个或多个处理器执行的逻辑。当被执行时，所述逻辑可操作以使得所述一个或多个处理器执行操作，所述操作包括：接收与手术场景相关联的多个图像帧中的第一图像帧；检测所述第一图像帧中的一个或多个对象；确定与所述一个或多个对象相对应的一个或多个位置；以及跟踪所述一个或多个对象在所述多个图像帧中的其他图像帧中的每个位置。
进一步关于该系统，在一些实施方式中，一个或多个对象中的至少一个对象是手术工具。在一些实施方式中，一个或多个对象中的至少一个对象是纱布。在一些实施方式中，一个或多个对象中的至少一个对象是出血区域。在一些实施方式中，一个或多个对象中的至少一个对象是烟雾。在一些实施方式中，利用卷积神经网络来执行对第一图像帧中的一个或多个对象的检测。在一些实施方式中，实时地执行操作。
在一些实施方式中，提供了一种其上具有程序指令的非瞬态计算机可读存储介质。当由一个或多个处理器执行时，所述指令可操作以使得所述一个或多个处理器执行操作，所述操作包括：接收与手术场景相关联的多个图像帧中的第一图像帧；检测所述第一图像帧中的一个或多个对象；确定与所述一个或多个对象相对应的一个或多个位置；以及跟踪所述一个或多个对象在所述多个图像帧中的其他图像帧中的每个位置。
进一步关于计算机可读存储介质，在一些实施方式中，一个或多个对象中的至少一个对象是手术工具。在一些实施方式中，一个或多个对象中的至少一个对象是纱布。在一些实施方式中，所述一个或多个对象中的至少一个对象是出血区域。在一些实施方式中，一个或多个对象中的至少一个对象是烟雾。在一些实施方式中，利用卷积神经网络来执行对第一图像帧中的一个或多个对象的检测。在一些实施方式中，实时地执行操作。
在一些实施方式中，一种方法包括：接收与手术场景相关联的多个图像帧中的第一图像帧；检测所述第一图像帧中的一个或多个对象；确定与所述一个或多个对象相对应的一个或多个位置；以及跟踪所述一个或多个对象在所述多个图像帧中的其他图像帧中的每个位置。
进一步关于该方法，在一些实施方式中，一个或多个对象中的至少一个对象是手术工具。在一些实施方式中，一个或多个对象中的至少一个对象是纱布。在一些实施方式中，一个或多个对象中的至少一个对象是出血区域。在一些实施方式中，一个或多个对象中的至少一个对象是烟雾。在一些实施方式中，利用卷积神经网络来执行对第一图像帧中的一个或多个对象的检测。
通过参考说明书的其余部分和附图，可以实现对本文所公开的特定实施方式的性质和优点的进一步理解。
附图说明
图1示出了可以用于本文所述的实施方式的示例性工作环境的框图。
图2示出了根据一些实施方式的用于分析手术场景的示例流程图。
图3示出了根据一些实施方式的用于基于计算机视觉来评估手术场景的示例流程图。
图4示出了根据一些实施方式的示出两个工具和两个对应的边界框的示例屏幕截图。
图5示出了根据一些实施方式的示出纱布和对应的边界框的示例屏幕截图。
图6示出了根据一些实施方式的示出出血区域和对应的边界框的示例屏幕截图。
图7示出了根据一些实施方式的示出烟雾和对应的边界框的示例屏幕截图。
图8示出了可以用于本文所述的一些实施方式的示例网络环境的框图。
图9示出了可以用于本文描述的一些实施方式的示例计算系统的框图。
具体实施方式
本文描述的实施方式实现并促进基于计算机视觉的手术场景的评估。一种系统利用基于深度学习的方法来进行对象检测和跟踪。如本文更详细地描述的，在各种实施例中，系统接收捕获手术场景的视频流。视频流包括包含手术场景中的一个或多个对象的图像帧。例如，对象可以包括手术工具、纱布、出血区域、烟雾等。该系统跨视频流的不同图像帧检测一个或多个对象。然后，系统确定与所检测的对象对应的位置。该系统还跟踪对象跨视频流的不同图像帧的每个位置。检测和跟踪提供工具、纱布、血液和烟雾的外观和轨迹信息。工具使用模式、移动范围或时间使用的进一步分析对于手术室中实时或手术后的外科医生可能是有用的。
图1示出了可以用于在此描述的实施方式的示例工作环境100的框图。示出了手术场景分析系统102或系统102，其执行本文描述的各种实施方式。系统102控制相机104，其捕获工作区域106中的手术场景的视频。系统102使相机104经由网络110将视频流从相机104发送到观看者客户端108。如本文更详细地描述的，系统102分析由相机104捕获的工具112和114的特性。网络110可以是任何合适的通信网络，诸如Wi-Fi网络、蓝牙网络、因特网等。在各种实施方式中，工作环境100可以不具有所示的所有组件和/或可以具有包括代替或除了本文所示的组件之外的其他类型的组件的其他元件。
如本文更详细地描述的，在手术室中仅有相机而没有其他感测或检测装置的情况下，系统102使用计算机视觉技术自动分析手术场景而无需人为干预。系统102可以检测和跟踪手术场景中的元件或对象。这种对象可以包括例如手术工具、纱布、出血区域、烟雾等。虽然在手术工具、纱布、出血区域和烟雾的背景下描述了各种示例性实施例，但是这些实施例可以应用于可能出现在手术场景中并且可以由相机捕获的其他类型的对象。
在各种实施例中，系统102包括用于检测和跟踪对象、学习视觉特征、以及强制对检测和跟踪流水线的约束的端到端监督的深度架构。在各种实施例中，系统102还包括基于卷积神经网络的外观描述符。在一些实施例中，可以使用诸如Siamese架构的架构来训练外观描述符以用于图像块的特征表示和数据关联。
图2示出了根据一些实施方式的用于分析手术场景的示例流程图。在各种实施例中，流程图提供了检测和跟踪框架。如图所示，在框202，诸如图1的系统102的系统检测所接收的视频流中的对象。在各种实施例中，系统检测视频流的一系列图像帧中的每个图像帧中的对象。例如，系统102可以检测由相机104捕获的图像帧中的手术工具、纱布、出血区域、烟雾等。对象的特定类型可以根据特定实施方式而变化。在各种实施例中，系统将一个或多个对象分类为一个或多个类别。
在各种实施方式中，该系统利用深度学习网络来将对象分类为各种对象类别。在一些实施方式中，系统使用利用由深度学习网络学习的已知特征来训练的分类器。该系统使用已知特征来基于系统在图像帧中识别的特征确定和辨别对象。该系统将特征与对象的已知特征进行比较，然后将一个或多个特征与已知特征进行匹配。在各种实施方式中，系统将关于已知特征的信息存储在合适的存储位置中。任何新的信息可以用于帮助辨别新检测到的对象的特征并帮助对这些对象进行分类。然后，系统基于匹配将一个或多个对象分类为一个或多个工具类别。
在框204，系统将每个对象与跟踪器相关联。在各种实施例中，系统为每个对象生成跟踪器。在各种实施例中，跟踪器可以是系统执行以预测和更新在视频中捕获的场景中的对象的位置的软件算法。然后，系统将每个跟踪器与相应的对象相关联。例如，系统可生成用于第一对象的第一跟踪器和用于第二对象的第二跟踪器，这导致每个对象一个跟踪器。在任何给定的后续图像帧中，如果系统检测到新的或第三对象，则系统生成新的或第三跟踪器。如本文更详细地描述，系统针对每个对象使用相同的相关联跟踪器来逐个图像帧地跟踪每个对象。这样，系统迭代地检测和跟踪视频流中的对象(例如，逐帧地等)。
在框206，系统跟踪检测到的对象。如上所述，系统针对系统跨视频流的图像帧检测到的每个新对象关联新跟踪器。在各种实施例中，系统利用跟踪器来使用任何合适的跟踪技术(例如，距离度量、外观描述符等)从一个帧到另一帧地跟踪给定对象。
在各种实施例中，系统(例如，使用卡尔曼滤波器等)预测并更新视频流的图像帧中的每个对象的位置。该系统可以利用具有特征金字塔网络(例如，Darknet等)的卷积神经网络来检测对象。
在各种实施例中，系统跟踪每个对象，包括随着时间以及在每个对象出现的不同图像帧上保持对每个对象的识别。在各种实施例中，系统确定给定对象的当前位置，并且还(例如，使用卡尔曼滤波器、扩展卡尔曼滤波器、粒子滤波器等)基于当前位置来预测给定对象的未来位置。在各种实施例中，系统可以利用任何合适的技术来生成各种信息并将其与每个对象相关联，所述技术包括例如用于外观匹配的卷积神经网络(例如，Siamese网络)以及用于位置匹配的距离度量(例如，欧几里得距离或余弦距离)和/或重叠度量(例如，并集或IoU上的交集)等。
在框208，系统更新每个跟踪器。在各种实施例中，系统针对在视频流中检测到的每个后续图像帧更新每个对象的位置。这样，系统可以跟踪视频流中任何给定对象的移动。
尽管步骤、操作或计算可以以特定的顺序呈现，但是在特定的实施方式中可以改变该顺序。取决于特定的实施方式，步骤的其他排序是可能的。在一些特定实施方式中，可同时执行在本说明书中示出为顺序的多个步骤。此外，一些实施方式可以不具有所示的所有步骤和/或可以具有代替或除了本文所示的那些步骤之外的其他步骤。
如下面更详细描述的，在各种实施例中，系统从自动来自手术相机或视频的视频流中提取有用的信息，诸如工具类型、工具状态、出血区域、纱布、烟雾水平等。本文更详细地描述了针对这些步骤的进一步示例实施方式。
图3示出根据一些实施方式的用于基于计算机视觉评估手术场景的示例流程图。参考图1和2，在框302开始一种方法，其中诸如系统102的系统接收与手术场景相关联的第一图像帧。第一图像帧是视频流中的一系列或一序列图像帧中的一个图像帧。
在框304，系统检测第一图像帧中的一个或多个对象。在各种实施方式中，系统可以使用对象识别技术来检测所接收的图像帧中的对象。如上所述，系统可以使用卷积神经网络来辨别和/或识别感兴趣的对象。在一些实施例中，系统可以使用特征金字塔网络，例如Darknet等。
在框306，系统确定对应于一个或多个对象的一个或多个位置。该系统可以利用任何合适的技术来确定每个物体的位置。
在框308，系统跟踪一个或多个对象在多个图像帧中的其他图像帧中的每个位置。
尽管步骤、操作或计算可以以特定的顺序呈现，但是在特定的实施方式中可以改变该顺序。取决于特定的实施方式，步骤的其他排序是可能的。在一些特定的实施方式中，可同时执行在本说明书中示出为顺序的多个步骤。此外，一些实施方式可以不具有所示的所有步骤和/或可以具有代替或除了本文所示的那些步骤之外的其他步骤。
在各种实施例中，系统使用计算机视觉和机器学习来视觉地识别各种不同类型的对象，诸如工具、纱布、出血区域、烟雾等，以用于高度可变的手术场景的实时鲁棒性分析。如上所述，在各种实施例中，系统可以从自动来自手术相机或视频的视频流中提取有用的信息，诸如工具类型、工具状态、出血区域、纱布、烟雾水平等。
图4示出了根据一些实施方式的示出两个工具402和404以及两个对应的边界框406和408的示例屏幕截图400。在各种实施例中，所述一个或多个对象中的至少一个对象是手术工具。在该示例中，存在两种手术工具。在各种实施例中，系统检测图像中的每个工具的状态。例如，系统可以确定工具是打开的还是关闭的。例如，系统可以检测剪刀工具并确定剪刀工具的工具状态是打开的还是闭合的。在一些实施例中，还可以确定工具打开或关闭的程度。在各种实施例中，系统对每个工具或对象进行分类以确定工具或对象的类型。这可以有助于改善手术工作流程、培训等。如下面的示例性实施例所示，虽然在手术工具的上下文中描述了一些对象，但是系统可以检测其他类型的对象。
在各种实施方式中，所述一或多个工具分类指示工具的类型，包括工具功能。示例性工具可以包括切割或解剖器械，诸如解剖刀、剪刀、锯等。工具可以包括双极镊子和冲洗器。工具可以包括抓取或保持器械，诸如光滑的和带齿的镊子、毛巾夹、血管夹、器官保持器等。工具可包括止血器械，诸如夹子、止血钳、无创伤止血钳等。工具可包括牵开器器械，诸如C形薄片状钩、钝齿状钩、尖齿状钩、带槽探针、捣钳等。工具可包括组织一体化器械和材料，诸如持针器、手术针、缝合器、夹持器、粘合带等。所检测的特定工具可以变化，并且将取决于特定实施方式。虽然本文在手术工具的背景下描述了实施方式，但是这些实施方式和其他实施方式也可以应用于其他工具(例如，诸如纱布等的非手术工具)。
在各种实施例中，系统生成一个或多个边界框(例如，边界框406和408)并且在显示屏中显示边界框作为用于任何一个或多个感兴趣对象(例如，手术工具、纱布、出血区域、烟雾等)的视觉指示器。
而示例边界框被示为正方形。视觉指示器的实际形状可以是任何形状。例如，在一些实施方式中，边界框或视觉指示符可以遵循给定对象的一般形状。在各种实施方式中，系统可在视频帧上实时叠加边界框和任何相关联的标签以供用户观看。这帮助用户知道在显示器上正在观看哪些对象。在一些实施方式中，系统可以使能用户将视觉指示器断开。
图5示出了根据一些实施方式的示出纱布502和对应的边界框504的示例屏幕截图500。在各种实施例中，所述一个或多个对象中的至少一个对象是纱布。这可有助于提高系统在对手术中使用的纱布进行跟踪、检索和计数的能力。
图6示出了根据一些实施方式的示出出血区域602和对应的边界框604的示例屏幕截图600。在各种实施例中，所述一个或多个对象中的至少一个对象是出血区域。这可以有助于检测外科医生可能不能看到的出血。例如，系统可以视觉地指示(例如，经由视觉注释)出血区域、血流方向等。在各种实施例中，系统还可实时和/或后处理确定出血运动估计。例如，系统可以估计检测到的血流的方向，并且生成出血情况的警报或警告。
图7示出了根据一些实施方式的示出烟雾702和对应的边界框704的示例屏幕截图700。在各种实施例中，所述一个或多个对象中的至少一个对象是烟雾。这可以有助于警告外科医生烟雾在环境中的存在，而且当在烟雾排除过程中使用工具去除烟雾时也是有帮助的。在各种实施例中，系统还可以确定手术场景中的烟雾(烟雾性)量。例如，系统可估计检测到的烟雾的水平(例如，0……1等)，其可用来控制烟雾排除器。
如上文所指示，在各种实施例中，利用卷积神经网络来执行对第一图像帧中的一或多个对象的检测。在各种实施例中，系统实时地执行框302至308的操作，使得系统能够在高度复杂的手术场景下以高准确度和鲁棒性执行描述的实施例。系统也可执行一些后处理操作(例如，在稍后时间离线的进一步分析对象。
以下是附加的实时应用，包括可以根据需要使用的一些附加的后处理操作。在一些实施方式中，系统可以启用和监测智能(例如，机器人)手术导航以减少手术期间所需的助手。在一些实施方式中，系统可以监测和预测针对医院手术室效率的手术进展。在一些实施方式中，系统可以向手术技术提供客观反馈以用于手术过程教育和改进。在一些实施方式中，系统可以分析手术过程的技能和质量。在一些实施方式中，系统可以在这些示例应用中对视频进行注释以用于快速内容管理(例如，搜索、检索、回顾和编辑等)。
在各种实施例中，当系统在不同图像帧中检测到对象时，系统可处理给定对象的外观的任何可变性。例如，系统可以检测相同类型的手术工具并对其进行分类，即使这种工具可能在不同的工具制造商之间变化。在各种实施例中，系统可以处理各种手术动态，包括运动模糊、其他工具和组织的闭塞、视点的变化等，这增加了跟踪的复杂性等。例如，系统可以检测任何形状变形、动态纹理和可变强度。
图8示出了可用于本文所述的一些实施方式的示例网络环境800的框图。在一些实施方式中，网络环境800包括系统802，其包括服务器装置804和网络数据库806。例如，系统802可用于实现图1的系统102，以及执行本文描述的实施例。网络环境800还包括客户端装置810、820、830和840，其可以直接或经由系统802彼此通信。网络环境800还包括网络850。
为了便于说明，图8示出了系统802、服务器装置804和网络数据库806中的每一个的一个框，并且示出了客户端装置810、820、930和840的四个框。虽然在一个客户端装置用于观看手术过程的视频(例如，一个外科医生观看视频)的背景下描述了一些实施方式，但是这些实施方式和其他实施方式可以应用于多个客户端装置。例如，可能存在其他医师和/或其他临床医师和/或学生观看视频。
框802、804和806可以表示多个系统、服务器装置和网络数据库。而且，可以存在任何数量的客户端装置。在其他实施方式中，网络环境800可以不具有所示的所有组件和/或可以具有其他元件，包括代替或附加于本文所示的那些元件的其他类型的元件。在各种实施方式中，用户U1、U2、U3和U4可以使用各自的客户端装置810、820、830和840相互交互或与系统802交互。
在本文描述的各种实施方式中，系统802的处理器和/或任何客户端装置810、820、830和840的处理器使得本文描述的元素(例如，信息等)被显示在一个或多个显示屏上的用户界面中。
实施方式可以应用于任何网络系统和/或可以本地应用于单独的用户。例如，本文描述的实施方式可以由系统802和/或任何客户端装置810、820、830和840实现。系统802可以在独立计算机、平板计算机、智能电话等上执行本文描述的实施方式。系统802和/或客户端装置810、820、830和840中的任何一个可以单独地或与其他装置组合地执行本文描述的实施方式。
图9示出了可用于本文所述的一些实施方式的示例计算系统900的框图。例如，计算系统900可以用于实现图1的系统102和/或图8的系统802，以及执行本文描述的实施方式。在一些实施方式中，计算系统900可以包括处理器902、操作系统904、存储器906和输入/输出(I/O)接口908。在各种实施方式中，处理器902可以用于实现本文描述的各种功能和特征，以及执行本文描述的方法实施方式。虽然处理器902被描述为执行本文描述的实施方式，但是计算系统900的任何合适的组件或组件的组合或者与计算系统900或任何合适的系统相关联的任何合适的一个或多个处理器可以执行所描述的步骤。本文描述的实施方式可以在用户装置上、在服务器上或在两者的组合上执行。
计算系统900还包括软件应用910，其可以存储在存储器906上或任何其他合适的存储位置或计算机可读介质上。软件应用910提供使得处理器902能够执行本文描述的实施方式和其他功能的指令。软件应用程序还可包括诸如网络引擎的用于执行与一个或多个网络和网络通信相关联的各种功能的引擎。计算系统900的组件可以由一个或多个处理器或硬件装置的任何组合以及硬件、软件、固件等的任何组合来实现。
为了便于说明，图9示出了用于处理器902、操作系统904、存储器906、I/O接口908和软件应用910中的每一个的一个框。这些框902、904、906、908和910可以表示多个处理器、操作系统、存储器、I/O接口和软件应用。在各种实施方式中，计算系统800可以不具有所示的所有组件和/或可以具有包括代替或附加于本文所示的组件的其他类型的组件的其他元件。
尽管已经关于其特定实施例描述了本说明书，但是这些特定实施例仅仅是说明性的，而不是限制性的。在示例中示出的概念可以应用于其他示例和实施方式。
在各种实施方式中，软件被编码在一个或多个非暂态计算机可读介质中以供一个或多个处理器执行。当由一个或多个处理器执行时，该软件可操作以执行本文描述的实施方式和其他功能。
任何合适的编程语言都可以用来实现特定实施例的例程，包括C、C++、Java、汇编语言等。可以采用不同的编程技术，诸如过程的或面向对象的。例程可以在单个处理装置或多个处理器上执行。尽管步骤、操作或计算可以以特定顺序呈现，但是在不同的特定实施例中可以改变该顺序。在一些特定实施例中，在本说明书中被示为顺序的多个步骤可以同时执行。
特定实施例可以在非暂时性计算机可读存储介质(也称为机器可读存储介质)中实现，以供指令执行系统、设备或装置使用或与指令执行系统、设备或装置结合使用。特定实施例可以以软件或硬件或两者的组合中的控制逻辑的形式来实现。控制逻辑在由一个或多个处理器执行时可操作以执行本文描述的实施方式和其他功能。例如，诸如硬件存储装置的有形介质可以用于存储控制逻辑，其可以包括可执行指令。
特定实施例可以通过使用可编程通用数字计算机和/或通过使用专用集成电路、可编程逻辑器件、现场可编程门阵列、光学、化学、生物、量子或纳米工程系统、组件和机构来实现。通常，特定实施例的功能可以通过本领域已知的任何方式来实现。可以使用分布式、联网的系统、组件和/或电路。数据的通信或传送可以是有线的、无线的或通过任何其他方式。
“处理器”可以包括处理数据、信号或其他信息的任何合适的硬件和/或软件系统、机构或组件。处理器可以包括具有通用中央处理单元、多个处理单元、用于实现功能的专用电路的系统，或者其他系统。处理不需要限于地理位置或具有时间限制。例如，处理器可以“实时”、“离线”、以“批处理模式”等执行其功能。处理的各部分可以由不同(或相同)的处理系统在不同时间和不同位置执行。计算机可以是与存储器通信的任何处理器。存储器可以是任何合适的数据储存器、存储器和/或非瞬态计算机可读存储介质，包括电子存储装置，诸如随机存取存储器(RAM)、只读存储器(ROM)、磁存储装置(硬盘驱动器等)、闪存、光存储装置(CD、DVD等)、磁盘或光盘、或适合于存储由处理器执行的指令(例如，程序或软件指令)的其他有形介质。例如，诸如硬件存储装置的有形介质可以用于存储控制逻辑，其可以包括可执行指令。指令还可以包含在电子信号中，并且作为电子信号提供，例如以从服务器(例如，分布式系统和/或云计算系统)递送的软件即服务(SaaS)的形式。
还应理解，在附图/图中描绘的一个或多个元件还可以以更分离或集成的方式实现，或者甚至在某些情况下被去除或使其不可操作，如根据特定的应用程序有用。实施可以存储在机器可读介质中以允许计算机执行上述任何方法的程序或代码也在本发明的精神和范围内。
如本文的说明书和随后的权利要求书中所使用的，除非上下文另外明确指出，否则“一个”，“一种”和“该”包括复数引用。另外，如本文的说明书和随后的整个权利要求书中所使用的，除非上下文另外明确指出，否则“在……中”的含义包括“在……中”和“在……上”。
因此，尽管本文已经描述了特定实施例，但是在前述公开中意图进行多种修改、各种改变和替换，并且应当理解，在某些情况下，在不脱离所阐述的范围和精神的情况下，将采用特定实施例的某些特征而没有相应使用其他特征。因此，可以进行许多修改以使特定情况或材料适应基本范围和精神。

Claims (20)

1.一种系统，包括：
一个或多个处理器；以及
在一个或多个非暂时性计算机可读存储介质中编码的逻辑，以由所述一个或多个处理器执行，并且在被执行时可操作以使所述一个或多个处理器执行以下操作，包括：
接收与手术场景相关联的多个图像帧中的第一图像帧；
检测第一图像帧中的一个或多个对象；
确定与所述一个或多个对象对应的一个或多个位置；以及
跟踪所述一个或多个对象在所述多个图像帧中的其他图像帧中的每个位置。
2.根据权利要求1所述的系统，其中，所述一个或多个对象中的至少一个对象是手术工具。
3.根据权利要求1所述的系统，其中，所述一个或多个对象中的至少一个对象是纱布。
4.根据权利要求1所述的系统，其中，所述一个或多个对象中的至少一个对象是出血区域。
5.根据权利要求1所述的系统，其中，所述一个或多个对象中的至少一个对象是烟雾。
6.根据权利要求1所述的系统，其中，利用卷积神经网络执行对第一图像帧中的所述一个或多个对象的检测。
7.根据权利要求1所述的系统，其中，所述操作是实时执行的。
8.一种其上存储有程序指令的非暂时性计算机可读存储介质，所述程序指令在由一个或多个处理器执行时可操作以使所述一个或多个处理器执行以下操作，包括：
接收与手术场景相关联的多个图像帧中的第一图像帧；
检测第一图像帧中的一个或多个对象；
确定与所述一个或多个对象对应的一个或多个位置；以及
跟踪所述一个或多个对象在所述多个图像帧中的其他图像帧中的每个位置。
9.根据权利要求8所述的计算机可读存储介质，其中，所述一个或多个对象中的至少一个对象是手术工具。
10.根据权利要求8所述的计算机可读存储介质，其中，所述一个或多个对象中的至少一个对象是纱布。
11.根据权利要求8所述的计算机可读存储介质，其中，所述一个或多个对象中的至少一个对象是出血区域。
12.根据权利要求8所述的计算机可读存储介质，其中，所述一个或多个对象中的至少一个对象是烟雾。
13.根据权利要求8所述的计算机可读存储介质，其中，利用卷积神经网络来执行对第一图像帧中的所述一个或多个对象的检测。
14.根据权利要求8所述的计算机可读存储介质，其中，所述操作是实时执行的。
15.一种计算机实现的方法，包括：
接收与手术场景相关联的多个图像帧中的第一图像帧；
检测第一图像帧中的一个或多个对象；
确定与所述一个或多个对象对应的一个或多个位置；以及
跟踪所述一个或多个对象在所述多个图像帧中的其他图像帧中的每个位置。
16.根据权利要求15所述的方法，其中，所述一个或多个对象中的至少一个对象是手术工具。
17.根据权利要求15所述的方法，其中，所述一个或多个对象中的至少一个对象是纱布。
18.根据权利要求15所述的方法，其中，所述一个或多个对象中的至少一个对象是出血区域。
19.根据权利要求15所述的方法，其中，所述一个或多个对象中的至少一个对象是烟雾。
20.根据权利要求15所述的方法，其中，利用卷积神经网络执行对第一图像帧中的所述一个或多个对象的检测。
CN202011230081.6A 2019-11-08 2020-11-06 基于计算机视觉的手术场景评估 Pending CN112784672A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962932595P 2019-11-08 2019-11-08
US62/932,595 2019-11-08
US16/808,265 US11625834B2 (en) 2019-11-08 2020-03-03 Surgical scene assessment based on computer vision
US16/808,265 2020-03-03

Publications (1)

Publication Number Publication Date
CN112784672A true CN112784672A (zh) 2021-05-11

Family

ID=73138782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011230081.6A Pending CN112784672A (zh) 2019-11-08 2020-11-06 基于计算机视觉的手术场景评估

Country Status (5)

Country Link
US (1) US11625834B2 (zh)
EP (1) EP3819867A1 (zh)
JP (1) JP2021099789A (zh)
KR (1) KR20210056239A (zh)
CN (1) CN112784672A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181714A1 (ja) * 2021-02-24 2022-09-01 アナウト株式会社 手術内容評価システム、手術内容評価方法及びコンピュータプログラム
EP4071708B1 (en) * 2021-04-09 2023-07-26 Tata Consultancy Services Limited Methods and systems for localised smoke removal and color restoration of real-time video
CN113283429B (zh) * 2021-07-21 2021-09-21 四川泓宝润业工程技术有限公司 基于深度卷积神经网络的液位式表计读数方法
AU2022401152A1 (en) * 2021-11-30 2024-05-02 Pulsemedica Corp. System and method for detection of floaters
US20230165628A1 (en) * 2021-12-01 2023-06-01 Covidien Lp Active control of surgical smoke evacuation systems

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767456A (zh) * 2019-01-09 2019-05-17 上海大学 一种基于SiameseFC框架和PFP神经网络的目标跟踪方法
CN110245678A (zh) * 2019-05-07 2019-09-17 华中科技大学 一种异构孪生区域选取网络及基于该网络的图像匹配方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735329B2 (en) 2001-05-18 2004-05-11 Leonard S. Schultz Methods and apparatus for image recognition and dictation
US10555775B2 (en) * 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
CA2654261C (en) * 2006-05-19 2017-05-16 Mako Surgical Corp. Method and apparatus for controlling a haptic device
US8444631B2 (en) * 2007-06-14 2013-05-21 Macdonald Dettwiler & Associates Inc Surgical manipulator
JP2011036372A (ja) 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
US9710730B2 (en) 2011-02-11 2017-07-18 Microsoft Technology Licensing, Llc Image registration
US8845667B2 (en) * 2011-07-18 2014-09-30 Immersion Corporation Surgical tool having a programmable rotary module for providing haptic feedback
US9770828B2 (en) * 2011-09-28 2017-09-26 The Johns Hopkins University Teleoperative-cooperative robotic system
US20130113929A1 (en) 2011-11-08 2013-05-09 Mary Maitland DeLAND Systems and methods for surgical procedure safety
EP2811459B1 (en) 2012-01-30 2020-02-19 NEC Corporation Information processing system, information processing method, information processing device, and control method and control program therefor, and communication terminal, and control method and control program therefor
US11871901B2 (en) * 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
KR102163327B1 (ko) * 2012-07-25 2020-10-08 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 시스템의 효율적인 쌍방향 출혈 검출 방법 및 시스템
US20150170381A1 (en) * 2013-12-16 2015-06-18 Sony Corporation Tool localization system with image enhancement and method of operation thereof
JP6323184B2 (ja) 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
US9805472B2 (en) 2015-02-18 2017-10-31 Sony Corporation System and method for smoke detection during anatomical surgery
US20160259888A1 (en) * 2015-03-02 2016-09-08 Sony Corporation Method and system for content management of video images of anatomical regions
WO2017098505A1 (en) 2015-12-07 2017-06-15 M.S.T. Medical Surgery Technologies Ltd. Autonomic system for determining critical points during laparoscopic surgery
JP6934253B2 (ja) 2015-12-23 2021-09-15 ガウス サージカル, インコーポレイテッドGauss Surgical, Inc. 外科織物内の血液構成要素の量の評価方法
US20170289504A1 (en) 2016-03-31 2017-10-05 Ants Technology (Hk) Limited. Privacy Supporting Computer Vision Systems, Methods, Apparatuses and Associated Computer Executable Code
JP6809869B2 (ja) 2016-11-02 2021-01-06 Eizo株式会社 ガーゼ検出システム
EP3579736A4 (en) * 2017-02-09 2020-12-23 Vicarious Surgical Inc. VIRTUAL REALITY SURGICAL INSTRUMENT SYSTEM
US10242292B2 (en) 2017-06-13 2019-03-26 Digital Surgery Limited Surgical simulation for training detection and classification neural networks
US11432877B2 (en) * 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767456A (zh) * 2019-01-09 2019-05-17 上海大学 一种基于SiameseFC框架和PFP神经网络的目标跟踪方法
CN110245678A (zh) * 2019-05-07 2019-09-17 华中科技大学 一种异构孪生区域选取网络及基于该网络的图像匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALVARO GOMARIZ: "SIAMESE NETWORKS WITH LOCATION PRIOR FOR LANDMARK TRACKING IN LIVER ULTRASOUND SEQUENCES", 《IEEE》, pages 1 - 4 *
LIJUN ZHOU: "Combined Kalman Filter and Multifeature Fusion Siamese Network for Real-Time Visual Tracking", 《SENSORS》, pages 1 - 15 *

Also Published As

Publication number Publication date
KR20210056239A (ko) 2021-05-18
EP3819867A1 (en) 2021-05-12
US11625834B2 (en) 2023-04-11
US20210142487A1 (en) 2021-05-13
JP2021099789A (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
US11625834B2 (en) Surgical scene assessment based on computer vision
US20220020486A1 (en) Methods and systems for using multiple data structures to process surgical data
US10878966B2 (en) System and method for analysis and presentation of surgical procedure videos
Blum et al. Modeling and segmentation of surgical workflow from laparoscopic video
US11594325B2 (en) Method and system for automatically tracking and managing inventory of surgical tools in operating rooms
Forestier et al. Automatic matching of surgeries to predict surgeons’ next actions
Jacob et al. Gestonurse: a robotic surgical nurse for handling surgical instruments in the operating room
JP7235212B2 (ja) 外科手術ビデオのための利き手ツール検出システム
Kumar et al. Product of tracking experts for visual tracking of surgical tools
US10963698B2 (en) Tool handedness determination for surgical videos
WO2022195303A1 (en) Prediction of structures in surgical data using machine learning
JP7395125B2 (ja) 手術ツールの先端及び向きの決定
Kumar et al. Surgical tool attributes from monocular video
CN112422901A (zh) 一种手术虚拟现实视频的生成方法和装置
Kumar et al. Vision-based decision-support and safety systems for robotic surgery
WO2021106859A1 (ja) 器具監視装置および器具監視方法
Weede et al. Movement analysis for surgical skill assessment and measurement of ergonomic conditions
Rahbar Visual Intelligence for Robotic and Laparoscopic Surgery: A Real-Time System for Bleeding Detection and Prediction
WO2024015620A1 (en) Tracking performance of medical procedures
EP4355247A1 (en) Joint identification and pose estimation of surgical instruments
KR20240011300A (ko) 인공지능 기반의 수술실 도구 트래킹 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination