CN107889534B - 用于在解剖手术期间检测手术用纱布的方法和系统 - Google Patents

用于在解剖手术期间检测手术用纱布的方法和系统 Download PDF

Info

Publication number
CN107889534B
CN107889534B CN201680008534.6A CN201680008534A CN107889534B CN 107889534 B CN107889534 B CN 107889534B CN 201680008534 A CN201680008534 A CN 201680008534A CN 107889534 B CN107889534 B CN 107889534B
Authority
CN
China
Prior art keywords
video frame
pixels
surgical
surgical gauze
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680008534.6A
Other languages
English (en)
Other versions
CN107889534A (zh
Inventor
C-R.乔
刘明昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107889534A publication Critical patent/CN107889534A/zh
Application granted granted Critical
Publication of CN107889534B publication Critical patent/CN107889534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本文中公开了用于在解剖手术期间检测手术用纱布的方法和系统的各个方面。根据本公开的实施例，该方法可以在通信地耦接到捕捉一个或多个视频帧的图像捕捉设备(218)的图像处理引擎(210)中实现。该方法包括基于视频帧的至少一部分的颜色滤波，确定(704)一组像素特性。之后，基于一组像素特性，在视频帧中检测(706)手术用纱布的一部分的一个或多个像素块。此外，基于多个度量，标识(710)与手术用纱布的剩余部分对应的附加像素。基于一个或多个像素块的检测和附加像素的标识，在视频帧中识别(712)手术用纱布。

Description

用于在解剖手术期间检测手术用纱布的方法和系统
相关申请的交叉引用
本申请要求2015年2月19日提交的序列号为62/118,030的美国临时专利申请的优先权，将其整个内容通过引用结合在本文中。
技术领域
本公开的各个实施例涉及用于检测手术用纱布的方法和系统。更具体地，本公开的各个实施例涉及用于在解剖手术期间检测手术用纱布的方法和系统。
背景技术
随着医学科学的最新进步，现在可以利用微创技术来执行各种手术和诊断过程。这样的微创技术会需要较小的切口，以把内窥镜或腹腔镜手术器械穿过患者的皮肤而插入体腔中。内窥镜或腹腔镜手术器械可以包括内置相机，以捕捉体腔的视频镜头。视频镜头可被实时显示给医师，从而使得医师能够对体腔内的指定解剖区执行手术或诊断过程。在某些情形下，在手术或诊断过程期间会使用一块或多块手术用纱布。例如，可以在解剖区周围的体腔中放入手术用纱布，以吸收在手术或诊断过程期间可能渗出的血液和其他体液。不过，如果在手术或诊断过程完成之后，手术用纱布被留在体腔内，那么手术用纱布会对患者造成风险。因此，需要实时分析手术或诊断过程的视频镜头，以遍及整个解剖区检测和监视体腔中的手术用纱布。
通过将已描述的系统与如在本申请的剩余部分中参考附图阐述的本公开的一些方面进行比较，对本领域的技术人员来说，常规和传统方法的其他限制和缺点将变得明显。
发明内容
一种基本上如附图至少之一中所示的和/或结合附图至少之一所述的、更完整地在权利要求书中阐述的用于在解剖手术期间检测手术用纱布的方法和系统。
在查看了本公开的以下详细说明以及附图后，可以理解本公开的这些及其他特征和优点，其中在整个附图中相同的附图标记指示相同的部分。
附图说明
图1是示出根据本公开的实施例的网络环境的框图。
图2是示出根据本公开的实施例的示例性图像处理服务器的框图。
图3是示出根据本公开的实施例的示例性用户终端的框图。
图4是示出根据本公开的实施例的示出在视频帧中检测与手术用纱布对应的一个或多个图像块的方法的示例性流程图。
图5是示出根据本公开的实施例的示出在视频帧中识别手术用纱布的方法的另一个示例性流程图。
图6是示出根据本公开的实施例的可呈现在用户终端上的用户界面(UI)的示例性情形。
图7是示出根据本公开的实施例的在解剖手术期间检测手术用纱布的示例性方法的流程图。
具体实施方式
可以在公开的用于在解剖手术期间检测手术用纱布的方法和系统中找到下面描述的各种实现。本公开的示例性方面可以包括可以在图像处理引擎中实现的方法。图像处理引擎可以通信地耦接到图像捕捉设备。图像捕捉设备可以被配置为捕捉一个或多个视频帧。所述方法可以包括：基于对从图像捕捉设备接收到的视频帧的至少一部分执行的颜色滤波，确定一组像素特性。之后，基于确定的一组像素特性，可以检测视频帧的所述部分中的与手术用纱布的一部分对应的一个或多个像素块。此外，基于多个度量，可以标识与手术用纱布的剩余部分对应的附加像素。随后，基于一个或多个像素块的检测和附加像素的标识，可以在视频帧的所述部分中，识别出手术用纱布。
根据实施例，所述一组像素特性可以包括但不限于边缘特征、形状特征、纹理特征、尺寸特征、颜色特征、强度特征和/或密度特征。根据实施例，所述多个度量可至少包括空间度量和光谱度量。所述空间度量可以对应于视频帧的所述部分中的两个像素的坐标之间的几何距离。此外，光谱度量可以对应于光照不变颜色度量。光照不变颜色度量可以对应于视频帧的所述部分中的两个像素的颜色分量之间的余弦距离。
根据实施例，可以组合空间度量、光谱度量和加权参数来确定视频帧的所述部分中的两个像素之间的欧几里德距离。根据实施例，基于空间度量、光谱度量和加权参数的组合，通过使用k均值聚类技术，可以标识所述附加像素。
根据实施例，基于视频帧的至少一部分的连通分量分析，可以检测与手术用纱布的所述部分对应的一个或多个块。根据实施例，基于超像素聚类技术，在视频帧中可以确定一个或多个像素集群。附加像素的标识可以包括从一个或多个像素集群中选择至少一个像素集群。此外，视频帧的所述部分中的手术用纱布的识别可以基于选择的至少一个像素集群。
根据实施例，基于视频帧的所述部分中的手术用纱布的识别，可以调整图像捕捉设备的一个或多个图像捕捉设定。所述一个或多个图像捕捉设定的示例可以包括但不限于自动曝光、自动聚焦、自动白平衡或自动照明。
根据实施例，在手术过程期间，可通过用户界面(UI)，实时地向用户(诸如医师)显示视频帧的至少一部分。在通过UI向用户显示的视频帧的所述部分中，可以遮蔽或突出所识别出的手术用纱布。根据实施例，可以产生表示手术用纱布的识别的通知。所述通知的示例可以包括但不限于音频警报、文本警报、视觉警报或触觉警报。
图1是示出根据本公开的实施例的网络环境的框图。参照图1，示出了网络环境100。网络环境100可以包括手术设备102、图像处理服务器104、视频数据库106、用户终端108和通信网络110。手术设备102可经由通信网络110，与图像处理服务器104、视频数据库106和用户终端108通信地耦接。
手术设备102可以包括可以被配置为执行与患者的一个或多个解剖区相关联的一种或多种手术过程和/或诊断分析的适当的逻辑、电路、接口和/或代码。手术设备102的示例可以包括但不限于微创手术/诊断设备、小切口手术/诊断设备、和/或内窥镜/腹腔镜手术/诊断设备。
根据实施例，手术设备102还可以包括图像捕捉设备(图1中未示出)。当对解剖区执行手术或诊断过程时，图像捕捉设备可以捕捉患者的解剖区的一个或多个视频帧。替代地，手术设备102可以经由通信网络110通信地耦接到图像捕捉设备。图像捕捉设备的示例可以包括但不限于内窥镜/腹腔镜相机、基于超声波的相机、医学共振成像(MRI)设备、计算机断层摄影(CT)扫描设备、微创医学成像设备、和/或小切口医学成像设备。
图像处理服务器104可以包括可以向一个或多个订阅电子设备(诸如用户终端108和/或手术设备102)提供图像处理服务的一个或多个服务器。根据实施例，图像处理服务器104可以被配置为在执行手术或诊断过程的同时，分析由图像捕捉设备捕捉的一个或多个视频帧。图像处理服务器104随后可以基于所述一个或多个视频帧的分析，在所述一个或多个视频帧的至少一个中识别手术用纱布。根据实施例，通过使用本领域的技术人员公知的几种技术，图像处理服务器104可被实现为多个基于云的资源。此外，图像处理服务器104可以与单个或多个服务提供者关联。所述一个或多个服务器的示例可以包括但不限于ApacheTM HTTP服务器、
Figure BDA0001368729110000041
因特网信息服务(Internet Information Services(IIS))、
Figure BDA0001368729110000042
应用服务器(Application Server)、Sun JavaTM系统Web服务器(SystemWeb Server)和/或文件服务器。
本领域的普通技术人员将理解本公开的范围不限于把图像处理服务器104和手术设备102作为分离的实体的实现。根据实施例，在不背离本公开的范围的情况下，图像处理服务器104的功能可由手术设备102实现。
视频数据库106可以存储由图像捕捉设备捕捉的一个或多个视频帧的储存库。根据实施例，视频数据库106可以通信地耦接到图像处理服务器104。当图像捕捉设备捕捉视频帧时，图像数据库106可经由图像处理服务器104接收视频帧。根据实施例，可以使用本领域已知的各种数据库技术来实现视频数据库106。视频数据库106的示例可以包括但不限于
Figure BDA0001368729110000051
SQL服务器、
Figure BDA0001368729110000052
IBM
Figure BDA0001368729110000053
Microsoft
Figure BDA0001368729110000054
Figure BDA0001368729110000055
和/或
Figure BDA0001368729110000056
根据实施例，图像处理服务器104可基于一种或多种协议连接到视频数据库106。这样的一种或多种协议的示例可以包括但不限于开放式数据库连接
Figure BDA0001368729110000057
协议和Java数据库连接
Figure BDA0001368729110000058
协议。
本领域的普通技术人员将理解本公开的范围不限于把图像处理服务器104和视频数据库106作为分离的实体的实现。根据实施例，可以在不背离本公开的范围的情况下，由图像处理服务器104实现视频数据库106的功能。
用户终端108可以包括可以被配置为呈现用户界面(UI)以向用户(诸如医师)显示视频帧的适当的逻辑、电路、接口和/或代码。根据实施例，在对患者的解剖区执行手术或诊断过程的同时，用户终端108可实时显示视频帧。用户终端108还可以被配置为显示由图像处理服务器104在视频帧中检测到的手术用纱布。用户终端108的示例可以包括但不限于智能电话、照相机、平板计算机、膝上型计算机、可穿戴电子设备、电视机、因特网协议电视机(IPTV)和/或个人数字助手(PDA)设备。
本领域的普通技术人员将理解本公开的范围不限于把用户终端108和图像处理服务器104作为分离的实体的实现。根据实施例，可以在不背离本公开的精神的情况下，由用户终端108来实现图像处理服务器104的功能。例如，图像处理服务器104可以被实现为运行和/或安装在用户终端108上的应用程序。
本领域的技术人员将理解，根据实施例，用户终端108可以与手术设备102相集成。替代地，用户终端108可以通信地耦接到手术设备102，并且用户终端108的用户(诸如医师)可以经由用户终端108的UI来控制手术设备102。
通信网络110可以包括手术设备102和/或用户终端108可通过其来与一个或多个服务器(诸如图像处理服务器104)通信的媒介。通信网络110的示例可以包括但不限于因特网、云网络、无线保真(Wi-Fi)网络、无线局域网(WLAN)、局域网(LAN)、普通老式电话服务(POTS)和/或城域网(MAN)。网络环境100中的各个设备可以被配置为根据各种有线和无线通信协议连接到通信网络110。这样的有线和无线通信协议的示例可以包括但不限于传输控制协议和因特网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、红外(IR)、IEEE 802.11、802.16、蜂窝通信协议和/或蓝牙(BT)通信协议。
在操作中，图像处理服务器104可以被配置为确定可以由图像捕捉设备捕捉的视频帧中的像素的一组像素特性。像素特性的示例可以包括但不限于边缘特征、形状特征、纹理特征、尺寸特征、颜色特征、强度特征和/或密度特征。根据实施例，该一组像素特性的确定可以基于对视频帧的至少一部分执行的颜色滤波。
根据实施例，图像处理服务器104还可以被配置为基于确定的一组像素特性，检测视频帧中的与手术用纱布的一部分对应的一个或多个像素块。之后，图像处理服务器104可以被配置为基于多个度量，标识手术用纱布的剩余部分的附加像素。根据实施例，多个度量可以至少包括空间度量和光谱度量。所述空间度量可以对应于视频帧中的两个像素的坐标之间的几何距离。此外，光谱度量可以对应于光照不变的颜色度量。光照不变颜色度量可以对应于视频帧中的两个像素的颜色分量之间的余弦距离。此外，图像处理服务器104可以被配置为基于一个或多个像素块的检测和附加像素的标识，在视频帧中识别手术用纱布。
根据实施例，图像处理服务器104还可以被配置为根据空间度量、光谱度量和加权参数，确定视频帧中的两个像素之间的欧几里德距离。然而，本公开不限于此，并且在不背离本公开的范围的情况下，图像处理服务器104可组合空间度量、光谱度量和加权参数，以利用本领域中已知的其他数学函数来确定视频帧中的两个像素之间的距离，。根据实施例，图像处理服务器104可以基于确定的欧几里德距离，利用k均值聚类技术，标识所述附加像素。
根据实施例，图像处理服务器104可以被配置为基于视频帧的至少一部分的连通分量分析，检测与手术用纱布的所述部分对应的一个或多个块。根据实施例，图像处理服务器104还可以被配置为根据超像素聚类技术，在视频帧中确定一个或多个像素集群。图像处理服务器104可从一个或多个像素集群中，选择至少一个像素集群，以标识所述附加像素。此外，基于选择的至少一个像素集群，图像处理服务器104可以在视频帧中识别手术用纱布。
根据实施例，图像处理服务器104还可以被配置为根据视频帧中的手术用纱布的识别，实时调整图像捕捉设备的一个或多个图像捕捉设定。所述一个或多个图像捕捉设定的示例可以包括但不限于自动曝光、自动聚焦、自动白平衡和/或自动照明。
根据实施例，图像处理服务器104还可以被配置为在执行手术或诊断过程的同时，通过用户终端108的UI，向用户(诸如医师)显示视频帧。在通过UI向用户显示的视频帧中，可以遮蔽或突出在视频帧中确定的手术用纱布。根据实施例，图像处理服务器104还可以被配置为产生表示手术用纱布的识别的通知。图像处理服务器104可把所述通知传送给手术设备102和/或用户终端108。所述通知可由手术设备102和/或用户终端108呈现给用户(诸如医师)。所述通知的示例可以包括但不限于音频警报、文本警报、视觉警报和/或触觉警报。
图2是示出根据本公开的实施例的示例性图像处理服务器的框图。结合来自图1的要素对图2进行解释。参考图2，示出了图像处理服务器104。图像处理服务器104可以包括一个或多个处理器(诸如处理器202)、一个或多个收发器(诸如收发器204)、存储器206和手术场景分析单元208。手术场景分析单元208可以包括图像滤波引擎210、像素聚类引擎212、数据库连接器214、UI管理器216和相机控制单元218。根据实施例，图像处理服务器104可经由收发器204、通过通信网络110通信地耦接到视频数据库106。替代地，图像处理服务器104可以包括视频数据库106。例如，可以在存储器206内实现视频数据库106。
处理器202可以通信地耦接到收发器204、存储器206和手术场景分析单元208。收发器204可以被配置为经由通信网络110与手术设备102和用户终端108通信。
处理器202可以包括可以被配置为执行存储在存储器206中的一组指令的适当的逻辑、电路、接口和/或代码。基于本领域已知的许多处理器技术，可以实现处理器202。处理器202的示例可以是基于X86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器和/或其他处理器。
收发器204可以包括可以被配置为经由通信网络110(如图1中所示)与用户终端108和/或手术设备102通信的适当的逻辑、电路、接口和/或代码。收发器204可实现已知技术来支持图像处理服务器104与通信网络110的有线或无线通信。收发器204可以包括但不限于天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码器(CODEC)芯片组、订户身份模块(SIM)卡和/或本地缓冲器。
收发器204可经由无线通信，与网络(诸如因特网、内部网)和/或无线网络(诸如蜂窝电话网、无线局域网(LAN)和/或城域网(MAN))通信。无线通信可以使用多种通信标准、协议和技术(诸如全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(诸如IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、因特网协议话音(VoIP)、Wi-MAX、电子邮件用协议、即时通讯消息和/或短消息服务(SMS))中的任一种。
存储器206可以包括可以被配置为存储具有可由处理器202执行的至少一个代码段的机器代码和/或计算机程序的适当的逻辑、电路和/或接口。根据实施例，存储器206还可以被配置为存储由图像捕捉设备捕捉的一个或多个视频帧。存储器206的实现示例可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器(HDD)和/或安全数字(SD)卡。
手术场景分析单元208可以包括可以被配置为分析和处理由图像捕捉设备捕捉的一个或多个视频帧的适当的逻辑、电路、接口和/或代码。根据实施例，手术场景分析单元208可以是处理器202的一部分。替代地，手术场景分析单元208可被实现为图像处理服务器104中的独立处理器或电路。根据实施例，手术场景分析单元208和处理器202可被实现为共同地执行手术场景分析单元208和处理器202的功能的集成处理器或者处理器集群。根据另一个实施例，手术场景分析单元208可被实现为存储在存储器206中的计算机程序代码，当由处理器202执行时，该计算机程序代码可执行手术场景分析单元208的功能。
图像滤波引擎210可以包括可以被配置为分析来自一个或多个视频帧中的视频帧以在视频帧中检测与手术用纱布的一部分对应的一个或多个像素块的适当的逻辑、电路、接口和/或代码。图像滤波引擎210可以被配置为基于对视频帧的至少一部分执行的颜色滤波来确定一组像素特性。图像滤波引擎210还可以被配置为基于所确定的一组像素特性，在视频帧中检测与手术用纱布的所述部分对应的一个或多个像素块。
像素聚类引擎212可以包括可以被配置为分析视频帧来标识与手术用纱布的剩余部分对应的附加像素并且在视频帧中识别手术用纱布的适当的逻辑、电路、接口和/或代码。根据实施例，像素聚类引擎212可以被配置为基于多种度量来标识所述附加像素。根据实施例，像素聚类引擎212还可以被配置为基于超像素聚类技术在视频帧中确定一个或多个像素集群。附加像素的标识可以包括从一个或多个像素集群中选择至少一个像素集群。根据实施例，像素聚类引擎212还可以被配置为基于与所述部分对应的一个或多个块的检测和对手术用纱布的剩余部分的附加像素的标识而在视频帧中识别手术用纱布。手术用纱布的识别还可以基于所选择的至少一个像素集群。
数据库连接器214可以包括可以被配置为向手术场景分析单元208提供对视频数据库106的访问和连接的适当的逻辑、电路、接口和/或代码。根据实施例，数据库连接器214可以在手术场景分析单元208和视频数据库106之间建立数据库会话。用于建立数据库会话的一种或多种通信协议的示例可以包括但不限于开放式数据库连接
Figure BDA0001368729110000101
协议和Java数据库连接
Figure BDA0001368729110000102
协议。
UI管理器216可以包括可以被配置为管理在用户终端108上呈现的UI的适当的逻辑、电路、接口和/或代码。根据实施例，UI管理器216可向用户终端108的用户(诸如医师)提供手术场景界面。手术场景界面可以经由用户终端108的UI在用户终端108的显示设备上呈现给用户。根据实施例，手术场景界面可以被配置为向用户显示一个或多个视频帧。在经由手术场景界面显示给用户的一个或多个视频帧中的各个视频帧中，可以遮蔽(masked)或突出(highlighted)在该视频帧中识别出的手术用纱布。
相机控制单元218可以包括可以被配置为与图像捕捉设备通信以调整图像捕捉设备的一个或多个图像捕捉设定的适当的逻辑、电路、接口和/或代码。根据实施例，相机控制单元218可以被配置为基于手术用纱布的识别，确定可能适合于捕捉一个或多个视频帧的或者对捕捉一个或多个视频帧来说最佳的一个或多个图像捕捉设定的这样的值。之后，相机控制单元218可以被配置为经由收发器204，将经确定的所述一个或多个图像捕捉设定的值传送到图像捕捉设备。图像捕捉设备可基于由相机控制单元218发送的对应值，调整其图像捕捉设定。一个或多个图像捕捉设定的示例可以包括但不限于自动曝光、自动聚焦、自动白平衡或自动照明。
在操作中，医师可以通过使用手术设备102和一个或多个手术器械，对患者的解剖区执行手术或诊断过程。一个或多个手术器械的示例可以包括但不限于内窥镜导管、手术钳、手术切口器械和/或手术用纱布。手术或诊断过程的示例可以包括但不限于微创手术/诊断过程、小切口手术/诊断过程、腹腔镜检查过程和/或内窥镜检查过程。
根据实施例，手术或诊断过程可以在没有来自医师的任何监督或指导的情况下，由手术机器人自动执行。根据实施例，手术或诊断过程可以在有来自医师的一个或多个输入信号和/或命令的情况下，由手术机器人半自动执行。根据实施例，图像捕捉设备(图1中未示出)可以通信地耦接到手术设备102(或者包括在手术设备102内)。在对解剖区执行手术或诊断过程的同时，图像捕捉设备可以实时捕捉解剖区的视频帧。之后，手术设备102(或图像捕捉设备本身)可以经由通信网络110将捕捉的视频帧传送到图像处理服务器104。
图像处理服务器104中的收发器204可被配置为经由通信网络110接收来自手术设备102的视频帧。根据实施例，通过使用通信协议(诸如实时传输协议(RTP)和/或实时流式传输协议(RTSP))，可以接收作为实时流媒体内容的视频帧。数据库连接器214可以被配置为与视频数据库106建立数据库会话并将接收到的视频帧存储在视频数据库106中。此外，视频帧也可被存储在存储器206中。
图像滤波引擎210可以被配置为分析视频帧。根据实施例，当从手术设备102接收了预定数量的视频帧时，可以以批量模式(离线处理)分析视频帧。根据实施例，当接收到每个新的视频帧时，可以实时地分析(在线处理)视频帧。图像滤波引擎210可从存储器206或视频数据库106取回视频帧，以用于视频帧的分析。
根据实施例，图像滤波引擎210可把各个视频帧分成用于分析的图像块(下面可互换地称为“像素块”和/或“块”)。图像滤波引擎210可以被配置为对视频帧的至少一部分(它可以包括一个或多个这样的图像块)执行颜色滤波，以确定视频帧的至少一部分的一组像素特性。一组像素特性的示例可以包括但不限于边缘特征、形状特征、纹理特征、尺寸特征、颜色特征、强度特征或密度特征。图像滤波引擎210可以被配置为对视频帧中的像素应用一个或多个颜色约束。根据实施例，视频帧中的手术用纱布的颜色可以是下述之一(但不限于)：红色(血液浸透的手术用纱布的情况)，白色(无血液的手术用纱布的情况)，或者蓝色(有放射性条纹的手术用纱布的情况)。根据实施例，图像滤波引擎210可基于一个或多个条件(诸如如下的“条件1”、“条件2”、“条件3”和“条件4”)，应用一个或多个颜色约束：
条件1：|g-b|<25，并且r≥88
条件2：Igray≥150，并且Iopp2≤33
条件3：b+6≥g，并且Iopp2＞33
条件4：b≥r+5，并且Igray≥150
其中r、g、b表示像素的红色、绿色和蓝色分量；
Igray表示像素的灰度强度；和
Iopp2表示像素的opp2颜色强度。
根据实施例，图像滤波引擎210可检查条件“条件1”来标识可能包含白色(无血液的)手术用纱布或者红色(被血液浸透的)手术用纱布的区域。在这样的区域中的像素可能具有在它们的绿色分量和蓝色分量之间的较小绝对差(诸如“25或更小”)。此外，这些像素的红色分量可能具有中等的值(诸如“88或更大”)。
根据实施例，图像滤波引擎210可检查条件“条件2”，以标识可能包含白色(无血液的)手术用纱布但是排除银色手术工具的区域。“条件2”可以基于这样的假设：这样的区域可以包括具有高灰度强度和低opp2颜色强度的像素。
根据实施例，图像滤波引擎210可检查条件“条件3”，以标识可能包含红色(被血液浸透的)手术用纱布但是排除偏黄色(yellowish)的组织的区域。这样的区域中的每个像素的蓝色分量可以稍微大于相应像素的绿色分量。
根据实施例，图像滤波引擎210可以检查条件“条件4”，以标识可能包括蓝色(放射性条纹)手术用纱布的区域。这样的区域中的像素具有与其红色分量值相比更高的蓝色分量值。此外，这样的区域中的像素可能具有更高的灰度像素强度(诸如“150或更大”)。
根据实施例，基于条件“条件1”和“条件2”，图像滤波引擎210可以检测视频帧中的可能对应于白色(无血液的)手术用纱布的感兴趣的区域。此外，基于条件“条件1”和“条件3”，图像滤波引擎210可以检测视频帧中的可能对应于红色(被血液浸透的)手术用纱布的感兴趣的区域。另外，基于条件“条件4”，图像滤波引擎210可以检测视频帧中的可能对应于蓝色(放射性条纹)手术用纱布的感兴趣的区域。下面，术语“感兴趣的区域”被用于指代由图像滤波引擎210基于上面提及的各种图像滤波条件(诸如但不限于“条件1”、“条件2”、“条件3”和“条件4”)，在视频帧中标识的那些区域。
此外，图像滤波引擎210可以被配置为执行边缘滤波以在视频帧中检测边缘像素。根据实施例，可以使用本领域中已知的索贝尔(Sobel)边缘滤波器对视频帧执行边缘滤波。图像滤波引擎210可以基于以下条件来检测作为边缘像素的像素：
条件5：ISobel≥7182
其中“Isobel”表示像素的索贝尔(Sobel)能量。
从而，图像滤波引擎210可以检查条件“条件5”来确定像素的索贝尔(Sobel)能量是否大于阈值(诸如“7182”)。如果特定像素的索贝尔(Sobel)能量大于阈值，那么图像滤波引擎210可把该像素检测为边缘像素。本领域的普通技术人员将理解手术用纱布可能具有条纹。视频帧中的边缘像素的检测可使得能够标识视频帧中的条纹，并且因此可以使得图像滤波引擎212能够识别可能包含手术用纱布的那些感兴趣的区域。此外，视频帧中，与被血液浸透的手术用纱布对应的区域具有比与组织对应的区域更多的边缘。因此，视频帧中的边缘像素的检测可以使图像滤波引擎210能够准确地在视频帧中的被血液浸透的手术用纱布和组织之间进行区分。
根据实施例，图像滤波引擎210还可以被配置为对视频帧中的检测出的感兴趣的区域中的边缘像素执行密度分析。基于密度分析，图像滤波引擎210可以确定视频帧中的检测出的感兴趣的区域内的每个图像块中的条纹的密度。根据实施例，图像块中的条纹的密度可以对应于图像块中的边缘像素的数量与图像块中的像素的总数之比。基于视频帧中的感兴趣的区域内的各个图像块中的条纹的密度，图像滤波引擎210可以生成置信图，以在视频帧中检测手术用纱布的一部分。根据实施例，图像滤波引擎210可以根据以下条件，生成置信图：
条件6：dΩ≥0.3
其中“dΩ”表示在视频帧的感兴趣的区域内的图像块中的条纹的密度。
因此，图像滤波引擎210可检查条件“条件6”来标识视频帧的检测出的感兴趣的区域中的具有高的条纹密度的图像块。这样的图像块中的像素可以具有它们可能对应于手术用纱布的较高的可能性。因此，图像滤波引擎210可将这样的图像块的像素包括在置信图中。根据实施例，图像滤波引擎210可以通过基于相应图像块中的条纹的密度，向每个这样的图像块中的像素分配似然值(likelihood value)来生成置信图。
根据实施例，图像滤波引擎210还可以被配置为基于确定的一组像素特性，在视频帧中检测可能与手术用纱布的部分对应的一个或多个像素块。根据实施例，这样的像素块的检测可以基于视频帧的至少一部分(该至少一部分可以包括一个或多个图像块)的连通(connected)分量分析。
基于置信图，图像滤波引擎210可以对在视频帧中检测出的感兴趣的区域执行阈值操作。例如，图像滤波引擎210可通过选择感兴趣的区域中的(在置信图内)被分配大于预定阈值(诸如“0.5”)的似然值的那些像素，执行阈值操作。
之后，图像滤波引擎210可以基于置信图，链接视频帧的感兴趣的区域中的连通分量。根据实施例，图像滤波引擎210可链接连通分量，使得每个连通分量可以包括视频帧的至少预定数量(诸如5个或更多个)的连续图像块。所述连续图像块可满足阈值操作的条件。图像滤波引擎210可以随后把位于所链接的连通分量内的图像块标识成视频帧中的可能与手术用纱布的部分对应的一个或多个检测出的像素块。在图4中解释了示出用于检测视频帧中的与手术用纱布对应的一个或多个图像块的方法的示例性流程图。
根据实施例，像素聚类引擎212可以被配置为基于多个度量，标识视频帧中的与手术用纱布的剩余部分对应的附加像素。根据实施例，多个度量可至少包括空间度量和光谱度量。所述空间度量可以对应于视频帧中的两个像素的坐标之间的几何距离。根据实施例，可以基于视频帧的尺寸使视频帧的像素的坐标归一化。例如，可以用如下的等式(1)表示像素的归一化坐标：
Figure BDA0001368729110000151
其中“max(x)”表示视频帧中的像素的最大x坐标；而“max(y)”表示视频帧中的像素的最大y坐标。
此外，光谱度量可以对应于可以基于视频帧中的两个像素的颜色分量之间的余弦距离确定的光照不变颜色度量。根据实施例，可以基于像素的颜色分量的平方值之和的平方根，使像素的每个颜色分量归一化。例如，可以用如下的等式(2)表示像素的归一化颜色分量：
Figure BDA0001368729110000152
其中“R”、“G”和“B”表示像素的红色、绿色和蓝色分量。
根据实施例，像素聚类引擎212可以被配置为确定位于感兴趣的区域中的每对像素之间的欧几里德距离(Euclidean distance)。如上所述，可以基于一个或多个颜色约束(诸如条件“条件1”、“条件2”、“条件3”和“条件4”)，标识视频帧中的这些感兴趣的区域。根据实施例，像素聚类引擎212可以基于空间度量、光谱度量和加权参数，确定欧几里德距离。可以用如下的等式(3)表示欧几里德距离：
d＝|αR,αG,αB,X,Y| (3)
其中，“d”表示一对像素之间的欧几里德距离；
“R”、“G”和“B”表示所述一对像素的各个归一化的红色、绿色和蓝色分量之间的差；
“X”和“Y”表示所述一对像素的各个归一化的x和y像素坐标之间的差；和
“α”表示加权参数(该加权参数可以由用户指定，或由像素聚类引擎212配置)。
根据实施例，像素聚类引擎212还可以被配置为对视频帧中的感兴趣的区域的像素进行聚类，以标识可能对应于手术用纱布的附加像素。根据实施例，像素聚类引擎212可以基于标识的感兴趣的区域中的每对像素之间的欧几里德距离，使用k均值聚类技术对标识的感兴趣的区域中的像素进行聚类。然而，本公开不限于此，并且在不背离本公开的范围的情况下，像素聚类引擎212可以将空间度量、光谱度量和加权参数组合，以使用本领域中已知的其他数学函数来确定视频帧中的两个像素之间的距离。
根据实施例，像素聚类引擎212可以被配置为基于超像素聚类技术，在视频帧中确定一个或多个像素集群。像素聚类引擎212可以组合感兴趣的区域中的预定数量的像素来生成一个或多个超像素。基于被包含在每个相应超像素中的像素的一组像素特性，像素聚类引擎212可以确定一个或多个超像素中的每个超像素的一组像素特性。例如，基于包含超像素的像素的区域的几何中心(centroid)的坐标，像素聚类引擎212可以确定该超像素的坐标。
此外，像素聚类引擎212可以基于超像素中的像素的颜色分量，确定所述超像素的颜色分量。例如，像素聚类引擎212可以对超像素的单独像素的每个颜色分量执行平均操作，以确定超像素的相应颜色分量的值。平均操作的示例可以包括平均值、滚动平均值、加权平均值、中值、众数(mode)和/或任何其他适用的数学或统计聚集技术。根据实施例，像素聚类引擎212可以确定可以从视频帧中的感兴趣的区域产生的每对超像素之间的欧几里德距离。根据确定的欧几里德距离，像素聚类引擎212可以在视频帧中确定一个或多个像素集群。
根据实施例，像素聚类引擎212还可以被配置为从在视频帧中确定的一个或多个像素集群中，选择至少一个像素集群。至少一个像素集群的选择可以基于至少一个像素集群的尺寸。例如，像素聚类引擎212可从一个或多个像素集群中选择大于阈值尺寸的那些像素集群。像素聚类引擎212可把包含在选择的至少一个像素集群内的像素标识成可能与手术用纱布的剩余部分对应的附加像素。
此外，像素聚类引擎212可以被配置为把感兴趣的区域内的一个或多个超像素重叠在被检测为视频帧中的手术用纱布的所述部分的一个或多个块上。像素聚类引擎212可以随后基于所述一个或多个超像素被这些一个或多个块覆盖的程度，验证所述一个或多个块是否包含手术用纱布。例如，像素聚类引擎212可以确定被所述一个或多个块包含的超像素的数量。如果被所述一个或多个块包括的超像素的数量大于预定阈值(诸如“超像素的总数的30％”)，那么像素聚类引擎212可把一个或多个块验证为视频帧中的手术用纱布的部分。
根据实施例，像素聚类引擎212可以被配置为基于与手术用纱布的部分对应的一个或多个像素块的检测，以及与手术用纱布的剩余部分对应的附加像素的标识，在视频帧中识别手术用纱布。像素聚类引擎212可将选择的至少一个像素集群与经验证的手术用纱布的部分的一个或多个块组合，以识别手术用纱布。在图5中解释了示出用于在视频帧中识别手术用纱布的方法的示例性流程图。
本领域的普通技术人员将理解，各种预定阈值的数值是示例性值。在不背离本公开的范围的情况下，预定阈值的数值可以基于实现、硬件和/或软件配置、以及用户要求而变化。
根据实施例，UI管理器216可以被配置为向用户终端108的用户(诸如医师)呈现手术场景界面。手术场景界面可经由用户终端108的UI来在用户终端108的显示设备上呈现给用户。根据实施例，手术场景界面可以被配置为向用户显示手术或诊断过程的一个或多个视频帧。在经由手术场景界面向用户显示特定视频帧时，可以遮蔽或突出在该视频帧中识别出的手术用纱布。在图6中解释了可以被呈现给用户来显示手术场景界面的示例性UI。
根据实施例，UI管理器216还可以被配置为生成用信号表示(signals)在特定视频帧中的手术用纱布的识别的通知。UI管理器216可把生成的通知发送给用户终端108。可经用户终端108的UI将通知呈现给用户。在实时或在线分析用于识别手术用纱布的一个或多个视频帧的情况下，UI管理器216还可经由收发器204将生成的通知传送给手术设备102。通知的示例可以包括但不限于音频警报、文本警报、视觉警报和/或触觉反馈。
根据实施例，相机控制单元218可以被配置为基于视频帧中的手术用纱布的识别，确定图像捕捉设备的一个或多个图像捕捉设定的最佳值。所述一个或多个图像捕捉设定的示例可以包括但不限于自动曝光、自动聚焦、自动白平衡或自动照明。根据实施例，可以基于一个或多个条件(诸如视频帧中的被识别为手术用纱布的区域的尺寸、这样的区域中的像素的平均强度和/或这样的区域的一个或多个特征)，确定一个或多个图像捕捉设定的最佳值。在实施例中，最佳值的确定也可以基于用户指定的标准。相机控制单元218可以被配置为经由收发器204，把一个或多个图像捕捉设定的最佳值传送给图像捕捉设备。基于相机控制单元218发送的各个最佳值，可以调整图像捕捉设备的一个或多个图像捕捉设定。
根据实施例，UI管理器216可以经由用户终端108的UI，把一个或多个图像捕捉设定的最佳值呈现给用户。经由用户终端108的UI，UI管理器216可以使得用户能够确认或调整所述最佳值。UI管理器216可以经由收发器204接收来自用户终端108的指示最佳值的确认或调整的用户输入。之后，相机控制单元218可以基于用户输入来更新最佳值，并且经由收发器204将更新后的最佳值传送给图像捕捉设备。基于从相机控制单元218接收的更新后的最佳值，可以调整图像捕捉设备的一个或多个图像捕捉设定。
图3是示出根据本公开的实施例的示例性用户终端的框图。结合来自图1的要素对图3进行解释。参考图3，示出了用户终端108。用户终端108可以包括一个或多个处理器(诸如处理器302)、一个或多个收发器(诸如收发器304)、存储器306、客户端界面单元308和显示设备314。客户端界面单元308可以包括UI管理器310和显示适配器312。处理器302可以通信地耦接到收发器304、存储器306、客户端界面单元308和显示设备314。收发器304可以被配置为经由通信网络110，与图像处理服务器104和/或手术设备102通信。
处理器302可以包括可以被配置为执行存储在存储器306中的一组指令的适当的逻辑、电路、接口和/或代码。可以基于本领域已知的许多处理器技术来实现处理器302。处理器302的示例可以是基于X86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器和/或其他处理器。
收发器304可以包括可以被配置为经由通信网络110(如图1中所示)，与图像处理服务器104和/或手术设备102通信的适当的逻辑、电路、接口和/或代码。收发器304可实现已知技术来支持用户终端108与通信网络110的有线或无线通信。收发器304可以包括但不限于天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码器(CODEC)芯片组、订户身份模块(SIM)卡和/或本地缓冲器。
收发器304可经由无线通信，与网络(诸如因特网、内部网)和/或无线网络(诸如蜂窝电话网、无线局域网(LAN)和/或城域网(MAN))通信。无线通信可以使用多种通信标准、协议和技术(诸如全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(诸如IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、因特网协议话音(VoIP)、Wi-MAX、电子邮件用协议、即时通讯消息和/或短消息服务(SMS))中的任一种。
存储器306可以包括可以被配置为存储具有可由处理器302执行的至少一个代码段的机器代码和/或计算机程序的适当的逻辑、电路和/或接口。存储器306的实现示例可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器(HDD)和/或安全数字(SD)卡。
客户端界面单元308可以包括可以被配置为渲染(render)和管理呈现在用户终端108上的一个或多个UI的适当的逻辑、电路、接口和/或代码。根据实施例，客户端界面单元308可以是处理器302的一部分。替代地，客户端界面单元308可以被实现为用户终端108中的单独的处理器或电路。例如，客户端界面单元308可以被实现为通信地耦接到处理器302的专用图形处理器或芯片组。根据实施例，客户端界面单元308和处理器302可以被实现为执行客户端界面单元308和处理器302的功能的集成处理器或者处理器的集群。根据另一个实施例，客户端界面单元308可以被实现为存储在存储器306中的计算机程序代码，当由处理器302执行时，该计算机程序代码可以执行客户端界面单元308的功能。
UI管理器310可以包括可以被配置为管理用户终端108的UI的适当的逻辑、电路、接口和/或代码。根据实施例，UI管理器310还可以被配置为接收和处理经由用户终端108的输入设备(图3中未示出)、经用户终端108的UI接收的用户输入。根据实施例，输入设备可以通信地耦接到用户终端108(或者包括在用户终端108内)。输入设备的示例可以包括但不限于键盘、鼠标、控制手柄、轨迹板(track pad)、语音使能的输入设备、触摸使能的输入设备和/或手势使能的输入设备。
根据实施例，UI管理器310还可以被配置为经由收发器304，与图像处理服务器104的UI管理器216通信。这样的通信可以有助于对应于手术场景界面的信息的接收。之后，UI管理器310可经由用户终端108的UI，呈现手术场景界面。
显示适配器312可以包括可以被配置为使UI管理器310与显示设备314对接的适当的逻辑、电路、接口和/或代码。根据实施例，显示适配器312可以基于显示设备314的显示配置，执行用户终端108的UI的渲染和显示属性的调整。可以被利用以执行显示调整的一种或多种技术的示例可以包括但不限于图像增强、图像稳定、对比度调整、亮度调整、分辨率调整和/或倾斜/旋转调整。
显示设备314可以包括可以被配置为渲染UI的适当的逻辑、电路、接口和/或代码。根据实施例，显示设备314可以被实现为用户终端108的一部分。在另一个实施例中，显示设备314可以通信地耦接到用户终端108。可以通过几种已知技术(诸如基于阴极射线管(CRT)的显示器、液晶显示器(LCD)、基于发光二极管(LED)的显示器、有机LED显示器技术、视网膜显示器技术和/或类似技术)实现显示设备314。另外，根据实施例，显示设备314可以接收来自用户的输入。在这样的情形下，显示设备314可以是使用户能够提供输入的触摸屏。根据实施例，触摸屏可以对应于电阻式触摸屏、电容式触摸屏或热触摸屏中的至少一种。根据实施例，显示设备314可通过虚拟小键盘、触控笔(stylus)、基于手势的输入和/或基于触摸的输入来接收输入。在这样的情况下，输入设备可被集成在显示设备314内。另外，根据实施例，用户终端108可以包括除基于触摸屏的显示设备314外的次要输入设备。
在操作中，用户终端108的收发器304可以经由通信网络110，接收来自图像处理服务器104的UI管理器216的与手术场景界面对应的信息。之后，根据实施例，用户终端108的UI管理器310可以经由用户终端108的UI向用户呈现手术场景界面。根据实施例，手术场景界面可向用户呈现手术或诊断过程的一个或多个视频帧。根据实施例，当视频帧被显示给用户时，可以遮蔽或突出在该视频帧中识别的手术用纱布。图6中更详细地说明了手术场景界面的示例。
根据实施例，由手术场景界面呈现的一个或多个视频帧可以是在执行手术或诊断过程时由图像捕捉设备捕捉的实时视频镜头。在这样的情况下，图像处理服务器104可实时地分析一个或多个视频帧(在线处理)，以在至少一个视频帧中识别手术用纱布。在特定视频帧中识别出的手术用纱布可作为该视频帧内的遮蔽或突出区域，经由手术场景界面被同时呈现给用户。
根据实施例，手术场景界面还可以被配置为向用户呈现通知，以指示手术用纱布的识别。通知的示例可以包括但不限于音频警报、文本警报、视觉警报和/或触觉警报。可以提示用户(诸如医师)基于所述通知而采取适当的行动。例如，手术场景界面可以提示用户调整图像捕捉设备的一个或多个图像捕捉设定。根据实施例，图像处理服务器104的相机控制单元218可以被配置为基于手术用纱布的识别，确定一个或多个图像捕捉设定的最佳值。手术场景界面可把作为一个或多个图像捕捉设定的建议值的这些最佳值呈现给用户。用户可以基于呈现给用户的建议值，调整图像捕捉设备的一个或多个图像捕捉设定。除了图像捕捉设备的一个或多个图像捕捉设定的调整之外，用户(诸如医师)还可以在患者的解剖区周围的体腔内重新布置手术用纱布/从患者的解剖区周围的体腔中移除手术用纱布。
图4示出了根据本公开的实施例的在视频帧中检测与手术用纱布对应的一个或多个图像块的方法的示例性流程图。结合来自图1和图2的要素对图4进行了解释。参考图4，示出了流程图400。流程图400包括输入的视频帧402、解剖区404、手术用纱布406、手术器械408、无血液区域410a、被血液浸透的区域410b、放射性条纹412、经颜色滤波的视频帧414、经边缘滤波的视频帧416、置信图化的视频帧418、输出的视频帧420、第一部分422a和第二部分422b。
如在流程图400中所示的，输入的视频帧402示出了由图像捕捉设备捕捉的一个或多个视频帧中的视频帧的快照。输入的视频帧402描绘了通过使用手术器械408对其执行手术或诊断过程的解剖区404。输入的视频帧402还描绘了可以在手术或诊断过程期间使用的手术用纱布406。手术用纱布406可以包括无血液区域410a和被血液浸透的区域410b。手术用纱布406中的无血液区域410a的颜色可呈白色，而手术用纱布406中的被血液浸透的区域410b的颜色可呈红色。此外，手术用纱布406可以包括颜色可呈蓝色的放射性条纹414。
根据实施例，图像处理服务器104的图像滤波引擎210可以被配置为分析输入的视频帧402，以确定输入的视频帧402的至少一部分的一组像素特性。一组像素特性可以包括但不限于边缘特征、形状特征、纹理特征、尺寸特征、颜色特征、强度特征、或密度特征。基于对输入的视频帧402的至少一部分执行的颜色滤波，可以确定所述一组像素特性。根据实施例，图像滤波引擎210可以基于一个或多个条件(诸如在图2中指定的条件“条件1”、“条件2”、“条件3”和“条件4”)执行颜色滤波。经颜色滤波的视频帧414示出了可以基于输入的视频帧402的颜色滤波从输入的视频帧402获得的结果视频帧。经颜色滤波的视频帧414可以包括输入的视频帧402中的可能与手术用纱布406对应的感兴趣的区域。
根据实施例，图像滤波引擎210可以被配置为在经颜色滤波的视频帧414中的感兴趣的区域内检测边缘像素。图像滤波引擎210可以基于如在图2中指定的条件“条件5”而使用索贝尔(Sobel)边缘滤波器来检测边缘像素。经边缘滤波的视频帧416示出了可以基于经颜色滤波的视频帧414中的边缘像素的检测而获得的结果视频帧。
根据实施例，图像滤波引擎210可以被配置为对在经边缘滤波的视频帧416中检测到的边缘像素执行密度分析。基于密度分析，图像滤波引擎210可以确定经边缘滤波的视频帧416的每个图像块中的条纹的密度。之后，图像滤波引擎210可生成置信图，以检测输入的视频帧402中的手术用纱布406的一个或多个部分。基于经边缘滤波的视频帧416的每个图像块中的条纹的密度，通过使用条件“条件6”(如在图2中指定的)，可以建立置信图。置信图化的视频帧418示出了当把置信图重叠在经边缘滤波的视频帧416上时可获得的结果视频帧。
根据实施例，图像滤波引擎210还可以被配置为基于确定的一组像素特性，在输入的视频帧402中，检测可与手术用纱布406的一部分对应的一个或多个像素块。图像滤波引擎210可以执行输入的视频帧402中的至少一部分(该至少一部分可以包括一个或多个图像块)的连通分量分析。图像滤波引擎210可以对输入的视频帧402的感兴趣的区域(如在经边缘滤波的视频帧416中标识的)执行阈值操作。可以基于在置信图化的视频帧418中表现的置信图来执行阈值操作。
之后，图像滤波引擎210可以基于置信图来链接输入的视频帧402的感兴趣的区域中的连通分量。例如，每个连通分量可以包括至少预定数量(诸如“5个或更多个”)的可以满足阈值操作的一个或多个条件的连续图像块。图像滤波引擎210随后可以将位于链接的连通分量内的那些图像块标识为输入的视频帧402中的可以与手术用纱布406的部分对应的一个或多个检测出的像素块。例如，图像滤波引擎210可以把第一部分422a和第二部分422b标识为输入的视频帧402中的手术用纱布406的部分。
输出的视频帧420示出了当在输入的视频帧402中标识并遮蔽了第一部分422a和第二部分422b时可以获得的结果视频帧。从图4明显可见，第一部分422a和第二部分422b可能不包括整个手术用纱布406。像素聚类引擎212可以被配置为标识输出的视频帧402中的可以对应于手术用纱布的附加像素。基于第一部分422a、第二部分422b和附加像素的标识，在输入的视频帧402内可以识别出手术用纱布406。
图5示出了根据本公开的实施例的示出在视频帧中识别手术用纱布的方法的示例性流程图。结合来自图1和图2的要素对图5进行了描述。参考图5，示出了流程图500。流程图500包括预处理的视频帧502、解剖区504、手术器械506、手术用纱布508,预标识部分510、经颜色/边缘滤波的视频帧512、经像素聚类的视频帧514、处理后的视频帧516、第一边界518、输出的视频帧520和第二边界522。
如流程图500中所示，预处理的视频帧502示出了可以基于由图像捕捉设备捕捉的输入视频帧(图5中未示出)的初步分析而获得的结果视频帧的快照。图像滤波引擎210可以执行输入的视频帧的初步分析，以在输入的视频帧中检测手术用纱布的一部分(以与图4的流程图400中示出的方式类似的方式)。
图像滤波引擎210随后可遮蔽输入的视频帧中的检测出的手术用纱布的部分，从而生成预处理的视频帧502。预处理的视频帧502描绘了通过使用手术器械506对其执行手术或诊断过程的解剖区504。预处理的视频帧502还描绘了可以在手术或诊断过程期间使用的手术用纱布508。另外，预处理的视频帧502基于输入的视频帧的初步分析，将预标识部分510描绘为输入的视频帧中的可以由图像滤波引擎210标识的手术用纱布508的一部分。
根据实施例，图像滤波引擎210可以基于一个或多个条件(诸如在图2中规定的“条件1”、“条件2”、“条件3”和“条件4”)通过输入的视频帧的颜色滤波，生成经颜色滤波的视频帧(图5中未示出)。此外，图像滤波引擎210可以在经颜色滤波的视频帧(图5中未示出)中标识边缘像素。图像滤波引擎210可以使用条件“条件5”(如在图2中规定的)来标识边缘像素。之后，基于输入的视频帧的颜色滤波和经颜色滤波的输入的视频帧中的边缘像素的标识，图像滤波引擎210可以生成经颜色/边缘滤波的视频帧512。经颜色/边缘滤波的视频帧512可以包括视频帧的一个或多个感兴趣的区域，该一个或多个感兴趣的区域可以包括手术用纱布508的其他部分。
根据实施例，像素聚类引擎212可以被配置为通过使用超像素聚类技术，在经颜色/边缘滤波的视频帧512中标识一个或多个像素集群。像素聚类引擎212可基于多个度量(诸如空间度量和光谱度量)执行超像素聚类。例如，像素聚类引擎212可以确定在经颜色/边缘滤波的视频帧512中的感兴趣的区域之中的每对像素之间的欧几里德距离。欧几里德距离可以基于空间度量、光谱度量和加权参数。经像素聚类的视频帧514示出了可以基于超像素聚类从经颜色/边缘滤波的视频帧生成的结果视频帧。经像素聚类的视频帧514可以包括可以从经颜色/边缘滤波的视频帧512中标识的一个或多个像素集群。
根据实施例，像素聚类引擎212可把预处理的视频帧502重叠在经像素聚类的视频帧514上，以获得处理后的视频帧516。像素聚类引擎212可以确定一个或多个集群与预标识部分510的重叠程度。根据一个或多个集群的重叠程度，像素聚类引擎212可以确定可对应于手术用纱布508的第一组附加像素。之后，像素聚类引擎212可以将所述第一组附加像素与预标识部分510组合，从而生成可以包围手术用纱布508的第一边界518。
根据实施例，像素聚类引擎212可至少基于一个或多个集群中的每一个的尺寸，从一个或多个集群中选择至少一个集群。之后，像素聚类引擎212可以标识可与手术用纱布508对应的第二组附加像素。之后，基于第二组附加像素518，像素聚类引擎212可以细调(refine)第一边界518来生成第二边界522。第一边界518的细调可以对应于从第一边界518中除去可能位于手术用纱布508之外的那些像素。另外，第一边界518的细调还可以对应于把可能是手术用纱布508的一部分但是目前不位于第一边界518内的那些像素包括到第一边界518中。根据实施例，第二边界522可以完全包围手术用纱布508。基于第二边界522，在输入的视频帧中可识别出手术用纱布508。输出的视频帧520可以对应于当把第二边界522重叠在输入的视频帧上以在输入的视频帧中识别手术用纱布508时可以获得的结果视频帧。
图6示出了根据本公开的实施例的可以呈现在用户终端108上的UI的示例性情形。结合图1的要素对图6进行了描述。参考图6，示出了可以被呈现给用户终端108的用户的用户界面(UI)600。
根据实施例，UI 600可以被配置为显示向用户呈现一个或多个视频帧的手术场景界面602。例如，如图6中所示，手术场景界面602可显示包括患者的解剖区604的透视的横截面视图的快照的视频帧。可以在对解剖区604执行手术或诊断过程的同时捕捉该快照。
如所述快照中所示的，可以通过使用一块或多块手术用纱布(诸如手术用纱布610)和一个或多个手术器械(诸如手术钳606和内窥镜手术器械608)来执行手术或诊断过程。例如，如图6中所示，当使用内窥镜手术器械608执行手术或诊断过程时，可以使用手术钳606来保持住解剖区604的表面。
此外，在执行手术或诊断过程的同时，手术用纱布610可以用来吸收可能渗出的血液或其他体液。例如，如图6所示，手术用纱布610可以包括被血液浸透的区域(如612描绘的)。尽管图6中示出了单个手术用纱布和两个手术器械，但是在不背离本公开的范围的情况下，也可以使用一个或多个附加的手术用纱布和/或手术器械来执行手术或诊断过程。如图6中所示，快照还示出了可包围手术用纱布610的第一遮罩(mask)或边界(如614a描绘的)，和可包围手术用纱布610的被血液浸透的区域612的第二遮罩或边界(如614b描绘的)。
在操作中，在手术场景界面602中显示特定视频帧之前，图像处理服务器104可分析视频帧。根据实施例，图像处理服务器104的图像滤波引擎210可以基于对视频帧的至少一部分执行的颜色滤波，确定一组像素特性。之后，图像滤波引擎210可以基于确定的一组像素特性，在视频帧中检测可与手术用纱布(诸如手术用纱布610)的一部分对应的一个或多个像素块。
根据实施例，图像处理服务器104的像素聚类引擎212可以基于多个度量，标识视频帧中的可能与手术用纱布(诸如手术用纱布610)的剩余部分对应的附加像素。可以使用超像素聚类技术标识所述附加像素。此外，基于与所述部分对应的一个或多个块的检测以及与手术用纱布610的剩余部分对应的附加像素的标识，像素聚类引擎212可以在视频帧中识别出手术用纱布610。
根据实施例，在视频帧被呈现给用户的同时，手术场景界面602可遮蔽或突出在视频帧中识别出的手术用纱布610。例如，手术场景界面602可以显示可包围视频帧中识别出的手术用纱布610的第一遮罩或边界614a。此外，如在图6中的视频帧的快照中所示，手术场景界面602可以显示可包围视频帧中识别出的手术用纱布610的被血液浸透的区域612的第二遮罩或边界614b。
根据实施例，手术场景界面602还可以被配置为向用户呈现通知，以指示视频帧中的手术用纱布610和手术用纱布610的被血液浸透的区域612的识别。该通知的示例可以包括但不限于音频警报、文本警报、视觉警报和/或触觉警报。在实时呈现视频帧的情况下，手术场景界面602可提示用户(诸如医师)基于通知采取特定行动。例如，手术场景界面602可提示用户调整图像捕捉设备的一个或多个图像捕捉设定。
手术场景界面602可建议一个或多个图像捕捉设定的最佳值。用户可以基于呈现给用户的所建议的最佳值，调整图像捕捉设备的一个或多个图像捕捉设定。除了图像捕捉设备的一个或多个图像捕捉设定的调整之外，用户(诸如医师)还可从患者的解剖区604中移除或重新放置手术用纱布610。本领域的普通技术人员将理解，UI 600是为了举例说明而提供的，而不应被解释为限制本公开的范围。
本公开的各种实施例可包括许多优点。如上所述，图像处理服务器104可分析一个或多个视频帧，以实时确定视频帧的至少一部分中的手术用纱布。在视频帧的分析期间，图像处理服务器104最初可以基于视频帧的颜色滤波而确定一组像素特性。图像处理服务器104可以基于确定的一组像素特性，检测可能与手术用纱布的一部分对应的一个或多个像素块。检测到的手术用纱布的部分可能不完全包含手术用纱布，并且可能还包括不属于手术用纱布的像素。图像处理服务器104可以基于超像素聚类技术，执行视频帧的进一步分析，以标识可能对应于手术用纱布的剩余部分的附加像素。附加像素的标识可以包括基于多个度量标识一个或多个像素集群。例如，图像处理服务器104可以使用空间度量、光谱度量和加权参数来标识一个或多个像素集群。使用像素的空间属性和光谱属性两者来标识像素集群可以使得能够在视频帧中进行像素的有效聚类。之后，基于检测出的与手术用纱布的所述部分对应的一个或多个块以及所标识的与手术用纱布的剩余部分对应的附加像素，图像处理服务器104可以在视频帧中识别出手术用纱布。
在手术或诊断过程期间，图像处理服务器104可实时向医师提供可以指示手术用纱布的识别的通知。基于该实时通知，医师可以在执行手术或诊断过程的同时，从患者的解剖区移除手术用纱布/在患者的解剖区内重新放置手术用纱布。此外，如上所述，图像处理服务器104还可使医师能够基于特定视频帧中的手术用纱布的识别，调整图像捕捉设备的一个或多个图像捕捉设定。一个或多个图像捕捉设定的这样的调整可以有助于由图像捕捉设备实时捕捉的一个或多个视频帧的质量的改善。
图7是示出根据本公开的实施例的在解剖手术期间检测手术用纱布的示例性方法的流程图。参考图7，示出了流程图700。结合图1和图2对流程图700进行描述。该方法在步骤702处开始，并且进行到步骤704。
在步骤704处，可以确定一组像素特性。根据实施例，图像处理服务器104的图像滤波引擎210可以被配置为确定一组像素特性。基于对从图像捕捉设备接收到的一个或多个视频帧中的视频帧的至少一部分执行的颜色滤波，可以确定一组像素特性。一组像素特性可以包括但不限于边缘特征、形状特征、纹理特征、尺寸特征、颜色特征、强度特征和/或密度特征。根据实施例，图像滤波引擎210可以基于一个或多个条件(诸如在图2中规定的条件“条件1”、“条件2”、“条件3”和“条件4”)执行视频帧的颜色滤波。此外，图像滤波引擎210可以基于如在图2中规定的条件“条件5”，在经颜色滤波的视频帧中检测边缘像素。基于颜色滤波和边缘像素的检测，图像滤波引擎210可以在视频帧中检测一个或多个感兴趣的区域。该感兴趣的区域可以包含视频帧中的手术用纱布的至少一部分。
在步骤706处，可以检测视频帧中的可能与手术用纱布的一部分对应的一个或多个像素块。根据实施例，图像滤波引擎210可以被配置为基于一组像素特性和/或对视频帧的至少一部分执行的连通分量分析，检测一个或多个像素块。基于视频帧中的感兴趣的区域的密度分析，可以检测所述一个或多个像素块。例如，基于视频帧中的感兴趣的区域中的各个图像块之中的条纹的密度，图像滤波引擎210可以生成置信图来检测手术用纱布的所述部分。基于如在图2中规定的条件“条件6”，可以建立该置信图。
在步骤708处，可以在视频帧中确定一个或多个像素集群。根据实施例，图像处理服务器104的像素聚类引擎212可以被配置为基于超像素聚类技术和多个度量，在视频帧中确定一个或多个像素集群。多个度量可以包括空间度量和光谱度量。像素聚类引擎212可以基于空间度量、光谱度量和加权参数，确定欧几里德距离。之后，像素聚类引擎212可以基于视频帧的感兴趣的区域中的每对像素之间的欧几里德距离，在视频帧中确定一个或多个像素集群。
在步骤710处，可以标识视频帧中的与手术用纱布的剩余部分对应的附加像素。根据实施例，像素聚类引擎212可以被配置为标识视频帧中的可能与手术用纱布的剩余部分对应的附加像素。基于各个像素集群与检测到的一个或多个像素块的重叠程度和/或各个像素集群的尺寸，像素聚类引擎212可从确定的一个或多个像素集群中，选择至少一个像素集群。之后，像素聚类引擎212可把附加像素标识为与选择的至少一个像素集群对应的像素。
在步骤712处，可以在视频帧中识别手术用纱布。根据实施例，像素聚类引擎212可以被配置为在视频帧中识别手术用纱布。手术用纱布的识别可以基于与手术用纱布的所述部分对应的一个或多个块的检测以及与手术用纱布的剩余部分对应的附加像素的标识。控制进行到结束步骤714。
根据本公开的实施例，公开了一种用于在解剖手术期间检测手术用纱布的系统。所述系统可以包括经由通信网络110通信地耦接到图像捕捉设备(图1中未示出)的图像处理服务器104。图像捕捉设备可以被配置为在手术或诊断过程期间捕捉一个或多个视频帧。图像处理服务器104可以被配置为基于来自一个或多个视频帧中的视频帧的至少一部分的颜色滤波来确定一组像素特性。图像处理服务器104还可以被配置为基于一组像素特性，在视频帧中检测手术用纱布的一部分的一个或多个像素块。另外，图像处理服务器104可以被配置为基于多个度量来标识视频帧中的与手术用纱布的剩余部分对应的附加像素。此外，图像处理服务器104可以被配置为基于一个或多个像素块的检测和附加像素的标识，在视频帧中识别手术用纱布。
本公开的各个实施例可提供非临时性机器可读介质和/或存储介质，和/或其上存储有机器代码和/或计算机程序的非临时性计算机可读介质和/或存储介质，其中，至少一个代码段可由机器和/或计算机执行，以用于在解剖手术期间检测手术用纱布。图像处理服务器104中的至少一个代码段可以使得机器和/或计算机执行包括以下步骤在内的多个步骤：基于一个或多个视频帧中的视频帧的至少一部分的颜色滤波，确定一组像素特性。一个或多个视频帧可由经由通信网络110可以通信地耦接到图像处理服务器104的图像捕捉设备来捕捉。根据实施例，基于一组像素特性，可以在视频帧中检测手术用纱布的一部分的一个或多个像素块。此外，基于多个度量，可以标识与手术用纱布的剩余部分对应的附加像素。基于一个或多个像素块的检测和附加像素的标识，可以在视频帧中识别手术用纱布。
本公开可以用硬件，或者硬件和软件的组合实现。本公开可以以集中的方式在至少一个计算机系统中实现，或者以分布的方式实现，其中不同的元件散布在几个互连的计算机系统中。适于执行本文中记载的方法的计算机系统或其他设备可以是合适的。硬件和软件的组合可以是具有计算机程序的通用计算机系统，当计算机程序被加载和执行时，计算机程序可以控制计算机系统，使得计算机系统执行本文中记载的方法。本公开可以用包括还执行其他功能的集成电路的一部分的硬件实现。
本公开也可被嵌入计算机程序产品中，该计算机程序产品包括使得能够实现本文中记载的方法的所有特征，并且当被载入计算机系统中时能够执行这些方法。在本上下文中，计算机程序意味着一组指令的采用任何语言、代码或符号的任意表达，该一组指令旨在被用来直接地或者在下述：a)变换成另一种语言、代码或符号；和/或b)以不同的材料形式再现之后，使得具有信息处理能力的系统执行特定功能。
虽然参考一些实施例说明了本公开，但本领域的技术人员应理解，在不背离本公开的范围的情况下，可以作出各种改变并且可以替换各种等同物。另外，在不背离本公开的范围的情况下，可以作出许多修改以使得特定状况或材料适应于本公开的教导。所以，意图在于：本公开不限于公开的特定实施例，相反，本公开将包括落在附加权利要求书的范围内的所有实施例。

Claims (22)

1.一种用于在解剖手术期间检测手术用纱布的系统，所述系统包括：
通信地耦接到图像捕捉设备的图像处理引擎中的一个或多个电路，其中所述图像捕捉设备被配置成捕捉一个或多个视频帧，所述一个或多个电路被配置成：
基于对从所述图像捕捉设备接收到的视频帧的至少一部分执行的颜色滤波，确定一组像素特性；
基于所确定的一组像素特性，在所述视频帧的所述至少一部分中检测与手术用纱布的一部分对应的一个或多个像素块；
基于多个度量，在所述视频中标识与所述手术用纱布的剩余部分对应的至少一个像素集群；
在所述视频帧中确定一组像素，其中所述一组像素基于所述视频帧的所述一个或多个像素块和所述视频帧的所述至少一个像素集群的重叠程度来确定；以及
基于所述一个或多个像素块的所述检测以及所确定的一组像素，在所述视频帧中识别所述手术用纱布。
2.根据权利要求1所述的系统，其中所述一组像素特性包括边缘特征、形状特征、纹理特征、尺寸特征、颜色特征、强度特征和密度特征中的一个或多个。
3.根据权利要求1所述的系统，其中所述多个度量至少包括空间度量和光谱度量中的一个。
4.根据权利要求3所述的系统，其中所述空间度量对应于所述视频帧的所述至少一部分中的两个像素的坐标之间的几何距离。
5.根据权利要求3所述的系统，其中所述光谱度量对应于光照不变颜色度量，其中所述光照不变颜色度量对应于所述视频帧的所述至少一部分中的两个像素的多个颜色分量之间的余弦距离。
6.根据权利要求3所述的系统，其中所述一个或多个电路还被配置成将所述空间度量、所述光谱度量和加权参数组合，以确定所述视频帧的所述至少一部分中的两个像素之间的欧几里德距离。
7.根据权利要求3所述的系统，其中基于所述空间度量、所述光谱度量和加权参数的组合，通过使用k均值聚类技术来标识所述至少一个像素集群。
8.根据权利要求1所述的系统，其中基于所述视频帧的所述至少一部分的连通分量分析，检测与所述手术用纱布的一部分对应的所述一个或多个像素块。
9.根据权利要求1所述的系统，其中基于超像素聚类技术，标识在所述视频帧的所述至少一部分中的至少一个像素集群。
10.根据权利要求1所述的系统，其中所述视频帧的所述至少一部分中的所述手术用纱布的所述识别是基于所述至少一个像素块和所确定的一组像素的组合。
11.根据权利要求1所述的系统，其中基于所述视频帧的所述至少一部分中的所述手术用纱布的所述识别来调整所述图像捕捉设备的一个或多个图像捕捉设定。
12.根据权利要求11所述的系统，其中所述一个或多个图像捕捉设定包括自动曝光、自动聚焦、自动白平衡和自动照明中的一个或多个。
13.根据权利要求1所述的系统，其中所述一个或多个电路还被配置为在所述解剖手术期间，经由用户界面来显示所述视频帧的所述至少一部分，其中在所显示的所述视频帧的所述至少一部分中，遮蔽或突出显示所识别出的手术用纱布。
14.根据权利要求1所述的系统，其中所述一个或多个电路还被配置成生成指示所述手术用纱布的所述识别的通知，其中所述通知对应于音频警报、文本警报、视觉警报和触觉警报中的一个或多个。
15.一种用于在解剖手术期间检测手术用纱布的方法，所述方法包括：
在通信地耦接到图像捕捉设备的图像处理引擎中：
基于对从所述图像捕捉设备接收到的视频帧的至少一部分执行的颜色滤波，确定一组像素特性，其中所述图像捕捉设备被配置成捕捉一个或多个视频帧；
基于所确定的一组像素特性，在所述视频帧的所述至少一部分中检测与手术用纱布的一部分对应的一个或多个像素块；
基于多个度量，在所述视频帧中标识与所述手术用纱布的剩余部分对应的至少一个像素集群；
在所述视频帧中确定一组像素，其中所述一组像素基于所述视频帧的所述一个或多个像素块和所述视频帧的所述至少一个像素集群的重叠程度来确定；以及
基于所述一个或多个像素块的所述检测以及所确定的一组像素，在所述视频帧的所述至少一部分中识别所述手术用纱布。
16.根据权利要求15所述的方法，其中所述一组像素特性包括边缘特征、形状特征、纹理特征、尺寸特征、颜色特征、强度特征和密度特征中的一个或多个。
17.根据权利要求15所述的方法，其中所述多个度量包括空间度量和光谱度量中的一个或多个。
18.根据权利要求17所述的方法，还包括将所述空间度量、所述光谱度量和加权参数组合，以确定所述视频帧的所述至少一部分中的两个像素之间的欧几里德距离。
19.根据权利要求18所述的方法，其中基于所述欧几里德距离，通过使用k均值聚类技术来标识所述至少一个像素集群。
20.根据权利要求15所述的方法，其中根据超像素聚类技术，标识在所述视频帧的所述至少一部分中的所述至少一个像素集群。
21.根据权利要求20所述的方法，其中所述视频帧的所述至少一部分中的所述手术用纱布的所述识别是基于所述至少一个像素块和所确定的一组像素的组合。
22.一种其上存储有一组计算机可执行指令的非临时性计算机可读存储介质，所述一组计算机可执行指令用于使得计算机执行多个步骤，包括：
基于对从图像捕捉设备接收到的视频帧的至少一部分执行的颜色滤波，确定一组像素特性，其中所述图像捕捉设备通信地耦接到所述计算机，其中所述图像捕捉设备被配置成捕捉一个或多个视频帧；
基于所确定的一组像素特性，在所述视频帧的所述至少一部分中，检测与手术用纱布的一部分对应的一个或多个像素块；
基于多个度量，在所述视频帧中标识与所述手术用纱布的剩余部分对应的至少一个像素集群；
在所述视频帧中确定一组像素，其中所述一组像素基于所述视频帧的所述一个或多个像素块和所述视频帧的所述至少一个像素集群的重叠程度来确定；和
基于所述一个或多个像素块的所述检测以及所确定的一组像素，在所述视频帧的所述至少一部分中识别所述手术用纱布。
CN201680008534.6A 2015-02-19 2016-02-11 用于在解剖手术期间检测手术用纱布的方法和系统 Active CN107889534B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562118030P 2015-02-19 2015-02-19
US62/118,030 2015-02-19
US14/855,525 US9767554B2 (en) 2015-02-19 2015-09-16 Method and system for detection of surgical gauze during anatomical surgery
US14/855,525 2015-09-16
PCT/US2016/017446 WO2016133767A1 (en) 2015-02-19 2016-02-11 Method and system for detection of surgical gauze during anatomical surgery

Publications (2)

Publication Number Publication Date
CN107889534A CN107889534A (zh) 2018-04-06
CN107889534B true CN107889534B (zh) 2021-09-24

Family

ID=56692383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680008534.6A Active CN107889534B (zh) 2015-02-19 2016-02-11 用于在解剖手术期间检测手术用纱布的方法和系统

Country Status (6)

Country Link
US (1) US9767554B2 (zh)
EP (1) EP3243048A4 (zh)
JP (1) JP6497536B2 (zh)
KR (1) KR102021682B1 (zh)
CN (1) CN107889534B (zh)
WO (1) WO2016133767A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160259888A1 (en) * 2015-03-02 2016-09-08 Sony Corporation Method and system for content management of video images of anatomical regions
JP6809869B2 (ja) * 2016-11-02 2021-01-06 Eizo株式会社 ガーゼ検出システム
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
WO2018125812A1 (en) 2017-01-02 2018-07-05 Gauss Surgical, Inc. Tracking surgical items with prediction of duplicate imaging of items
IT201800002612A1 (it) 2018-02-13 2019-08-13 B Res Di Braga Ing Giuseppe E C Sas Garza chirurgica.
US11488304B2 (en) * 2018-05-01 2022-11-01 Eizo Corporation Gauze detection system and gauze detection method
US11205508B2 (en) * 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
US10679743B2 (en) * 2018-09-12 2020-06-09 Verb Surgical Inc. Method and system for automatically tracking and managing inventory of surgical tools in operating rooms
JP7413216B2 (ja) * 2020-09-15 2024-01-15 富士フイルム株式会社 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム
KR20230088595A (ko) 2021-12-10 2023-06-20 사단법인 김해하버드바이오이미징센터 이물 육아종 제거를 위한 근적외선 형광체를 이용한 비침습 이미징 시스템 및 방법

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7453490B2 (en) * 1997-01-31 2008-11-18 Gyrus Acmi, Inc. Correction of image signals characteristic of non-uniform images in an endoscopic imaging system
US6741655B1 (en) * 1997-05-05 2004-05-25 The Trustees Of Columbia University In The City Of New York Algorithms and system for object-oriented content-based video search
US7197181B1 (en) * 2003-04-09 2007-03-27 Bentley Systems, Inc. Quick method for color-based selection of objects in a raster image
US7292263B2 (en) 2005-03-16 2007-11-06 The Regents Of The University Of California Robotic CCD microscope for enhanced crystal recognition
US7580560B2 (en) * 2005-07-18 2009-08-25 Mitutoyo Corporation System and method for fast template matching by adaptive template decomposition
EP2186881B1 (en) * 2006-03-23 2014-04-23 Ajinomoto Co., Inc. A method for producing an L-amino acid using bacterium of the Enterobacteriaceae family with attenuated expression of a gene coding for small RNA
WO2008033574A2 (en) * 2006-09-13 2008-03-20 Clearcount Medical Solutions, Inc. Apparatus and methods for monitioring objects in a surgical field
EP1916624B1 (en) * 2006-10-25 2016-11-23 Agfa HealthCare NV Method for segmenting a digital medical image.
US7856142B2 (en) * 2007-01-26 2010-12-21 Sharp Laboratories Of America, Inc. Methods and systems for detecting character content in a digital image
US9070192B1 (en) * 2007-05-15 2015-06-30 Vision Interface Technologies, LLC Implementing rich color transition curve tracking for applications
WO2010008846A2 (en) * 2008-06-23 2010-01-21 John Richard Dein Intra-operative system for identifying and tracking surgical sharp objects, instruments, and sponges
WO2010080121A1 (en) * 2008-12-18 2010-07-15 The Regents Of The University Of California, Santa Cruz Training-free generic object detection in 2-d and 3-d using locally adaptive regression kernels
US9652655B2 (en) 2011-07-09 2017-05-16 Gauss Surgical, Inc. System and method for estimating extracorporeal blood volume in a physical sample
EP2729901B1 (en) * 2011-07-09 2016-09-14 Gauss Surgical Methods for estimating extracorporeal blood volume
US8724904B2 (en) * 2011-10-25 2014-05-13 International Business Machines Corporation Anomaly detection in images and videos
JP6151771B2 (ja) * 2012-05-14 2017-06-21 ガウス サージカル, インコーポレイテッドGauss Surgical, Inc. 流体キャニスタ中の血液成分量を測定するシステム及び方法
JP6021237B2 (ja) * 2012-05-14 2016-11-09 ガウス サージカルＧａｕｓｓ Ｓｕｒｇｉｃａｌ 患者の失血を管理するシステム
US9025880B2 (en) * 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
JP6135848B2 (ja) 2012-09-04 2017-05-31 パナソニックＩｐマネジメント株式会社 撮像装置、画像処理装置および画像処理方法
US9041834B2 (en) 2012-09-19 2015-05-26 Ziilabs Inc., Ltd. Systems and methods for reducing noise in video streams
WO2014071399A1 (en) 2012-11-05 2014-05-08 Gauss Surgical Method for triggering blood salvage
KR102049080B1 (ko) * 2013-03-28 2020-01-08 삼성전자주식회사 영상 처리 장치 및 방법
EP2797030B1 (en) * 2013-04-24 2021-06-16 Accenture Global Services Limited Biometric recognition
US9736455B2 (en) * 2014-06-30 2017-08-15 Nokia Technologies Oy Method and apparatus for downscaling depth data for view plus depth data compression
US9947090B2 (en) * 2014-09-06 2018-04-17 RaPID Medical Technologies, LLC Medical image dectection system and method

Also Published As

Publication number Publication date
CN107889534A (zh) 2018-04-06
US20160247275A1 (en) 2016-08-25
KR102021682B1 (ko) 2019-09-16
JP2018513754A (ja) 2018-05-31
EP3243048A4 (en) 2018-11-21
WO2016133767A1 (en) 2016-08-25
JP6497536B2 (ja) 2019-04-10
EP3243048A1 (en) 2017-11-15
US9767554B2 (en) 2017-09-19
KR20170106374A (ko) 2017-09-20

Similar Documents

Publication Publication Date Title
CN107889534B (zh) 用于在解剖手术期间检测手术用纱布的方法和系统
CN107431784B (zh) 在解剖手术期间检测烟的系统和方法
US10147188B2 (en) Method and system for surgical tool localization during anatomical surgery
WO2020088328A1 (zh) 一种结肠息肉图像的处理方法和装置及系统
US20200357102A1 (en) Techniques for combining image frames captured using different exposure settings into blended images
CN108965839B (zh) 一种自动调整投影画面的方法及装置
CN106254784A (zh) 一种视频处理的方法及装置
CN112884666B (zh) 图像处理方法、装置及计算机存储介质
CN114693593A (zh) 图像处理方法、装置、及计算机装置
CN108805873A (zh) 图像处理方法及装置
US20110103663A1 (en) Apparatus, method and computer-readable storage mediums for detecting a region of interest in a medical image
US11348289B2 (en) Medical image display device and medical image display system for superimposing analyzed images
US11200653B2 (en) Local histogram matching with global regularization and motion exclusion for multi-exposure image fusion
US11232559B2 (en) Image processing apparatus and computer-readable storage medium
WO2021217445A1 (zh) 图像处理方法、装置、系统和存储介质
CN112785487B (zh) 图像处理方法及装置、存储介质和电子设备
CN116385812B (zh) 图像分类方法及装置、电子设备及存储介质
CN113012180B (zh) 图像的成像设备确定方法、装置、设备及存储介质
CN112351212A (zh) 用于多曝光图像融合的利用全局正则化和运动排除的局部直方图匹配

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant