CN108778180B - 用于移除手术图像和/或视频中的遮挡对象的系统和方法 - Google Patents
用于移除手术图像和/或视频中的遮挡对象的系统和方法 Download PDFInfo
- Publication number
- CN108778180B CN108778180B CN201780014065.3A CN201780014065A CN108778180B CN 108778180 B CN108778180 B CN 108778180B CN 201780014065 A CN201780014065 A CN 201780014065A CN 108778180 B CN108778180 B CN 108778180B
- Authority
- CN
- China
- Prior art keywords
- image
- initial
- images
- background
- capture device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001356 surgical procedure Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 239000000523 sample Substances 0.000 description 3
- 210000001835 viscera Anatomy 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000002324 minimally invasive surgery Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 206010028813 Nausea Diseases 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012978 minimally invasive surgical procedure Methods 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/77—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
- A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本公开涉及用于从手术图像移除遮挡对象的系统和方法。图像捕获装置插入到患者体中且在手术程序期间捕获所述患者体内手术部位的初始图像。控制器接收所述图像且确定所述初始图像中存在所述遮挡对象。所述控制器执行移除算法，所述移除算法包含控制所述图像捕获装置以执行多个移动，控制所述图像捕获装置以捕获多个图像，其中所述多个图像中的每一图像对应于所述多个移动中的一个移动，且应用图像滤波器以组合所述初始图像和所述多个图像并生成经过处理的图像，其中所述遮挡对象从所述经过处理的图像中移除。
Description
相关申请的交叉引用
本申请要求2016年3月2日提交的第62/302,366号美国临时专利申请的权益和优先权，所述美国临时专利申请的全部公开内容以引用的方式并入本文中。
背景技术
微创手术涉及使用多个小切口而非一个较大开口或切口来执行手术程序。小切口减少了患者的不适且缩短了恢复时间。小切口也限制了内部器官、组织和其它物质的可见度。
已使用内窥镜并将其插入一个或多个切口中以使临床医生更容易在手术期间看到体内的内部器官、组织和其它物质。这些内窥镜包含带有光学和/或数码变焦功能的相机，所述相机耦合到显示器，所述显示器示出由相机捕获的体内器官、组织和物质的放大图。当执行微创手术程序时，一个或多个手术工具可与内窥镜一起使用。内窥镜的视点必须相对于工具放置，使得工具不妨碍对手术部位的观察。在三维(3D)内窥镜检查的状况下，当工具离透镜过近和/或工具正在移动时，用户可经历迷向和/或恶心，由此迫使用户限制其移动选择。另外，局部污染可能模糊透镜，由此损害由内窥镜获得的任何图像的部分。
需要一种为临床医生提供不被工具和/或局部污染物遮挡的内窥镜视图的改进的方法。
发明内容
本公开涉及用于从手术图像移除遮挡对象的系统和方法。
在本公开的实施例中，用于从手术图像移除遮挡对象的系统包含：图像捕获装置，其配置成插入到患者体中且在手术程序期间捕获患者体内的手术部位的初始图像；以及控制器，其配置成接收所述图像。当控制器确定初始图像中存在遮挡对象时，控制器执行移除算法。移除算法包含：控制图像捕获装置以捕获多个图像，应用图像滤波器以组合初始图像和多个图像，且生成经过处理的图像，其中遮挡对象从经过处理的图像中移除。
在一些方面中，移除算法进一步包含控制图像捕获装置以执行多个移动，其中多个移动中的每一图像对应于多个移动中的一个移动。
在一些方面中，多个移动中的每一移动包含量值和方向。另外，多个移动中的每一移动是预先确定的。
在一方面中，应用图像滤波器包含将初始图像分离成初始背景图象和初始遮挡层，将多个图像分离成多个背景图像和多个遮挡层，以及组合初始背景图像和多个背景图像以生成经过处理的图像。组合初始背景图像和多个背景图像包含使初始背景图象和多个背景图像对齐，以及覆盖对齐的初始背景图象和多个背景图像。
在其它方面，应用图像滤波器包含：从初始图像移除遮挡对象以创建空白空间，使多个图像与初始图像对齐，以及利用来自对齐的多个图像的对应像素填充初始图像中的空白空间，其中对应像素不包含遮挡对象。
在一些方面中，控制器基于来自用户的输入确定初始图像中存在遮挡对象。
在一些方面中，显示器显示经过处理的图像。
在本公开的另一个实施例中，提供用于从手术图像移除遮挡对象的方法。方法包含在手术程序期间利用图像捕获装置捕获患者体内的手术部位的初始图像和当在初始图像中检测到遮挡对象时执行移除算法。移除算法包含：控制图像捕获装置以捕获多个图像，应用图像滤波器以组合初始图像和多个图像，且生成经过处理的图像，其中遮挡对象从经过处理的图像中移除。
在一些方面中，移除算法进一步包含控制图像捕获装置以执行多个移动，其中多个移动中的每一图像对应于多个移动中的一个移动。
在一些方面中，多个移动中的每一移动包含量值和方向。另外，多个移动中的每一移动是预先确定的。
在一方面中，应用图像滤波器包含将初始图像分离成初始背景图象和初始遮挡层，将多个图像分离成多个背景图像和多个遮挡层，以及组合初始背景图像和多个背景图像以生成经过处理的图像。组合初始背景图像和多个背景图像包含使初始背景图象和多个背景图像对齐，以及覆盖对齐的初始背景图象和多个背景图像。
在其它方面，应用图像滤波器包含：从初始图像移除遮挡对象以创建空白空间，使多个图像与初始图像对齐，以及利用来自对齐的多个图像的对应像素填充初始图像中的空白空间，其中对应像素不包含遮挡对象。
在一些方面中，显示经过处理的图像。
在本公开的又一实施例中，用于从手术图像移除遮挡对象的系统包含：图像捕获装置，其配置成插入到患者体中且在手术程序期间捕获患者体内的手术部位的初始图像；以及控制器，其配置成接收所述图像。当控制器确定初始图像中存在遮挡对象时，控制器执行移除算法。移除算法包含：控制图像捕获装置以捕获包含多个图像的视频内容，基于视频内容中所包含的多个图像、遮挡对象的位置和当捕获视频内容时图像捕获装置的视点来生成取代像素的集合，以及应用图像滤波器以组合初始图像和多个图像且生成经过处理的图像，其中遮挡对象基于取代像素的集合从经过处理的图像移除。
附图说明
根据以下结合附图进行的详细描述，本公开的上述和其它方面、特征和优点将变得更加显而易见，在附图中：
图1是根据本公开的实施例的用于在手术环境中移除遮挡对象的系统的框图；
图2是图1的控制器的框图；
图3A是描绘根据本公开的实施例的用于移除图像或视频中的遮挡对象的图像处理方法的流程图；
图3B是描绘根据本公开的另一实施例的用于移除图像或视频中的遮挡对象的图像处理方法的流程图；
图4是根据本公开的实施例的用于移除图像或视频中的遮挡对象的系统的框图；
图5示出捕获的图像和经过处理的图像的实例；以及
图6是根据本公开的实施例的机器人手术系统的系统框图。
具体实施方式
可分析在手术程序期间从内窥镜捕获的图像数据以从内窥镜的视点移除遮挡对象。可通过根据预先确定的方案移动内窥镜来获得手术部位的各种图像。可接着组合各种图像以向用户呈现单一图像或视频，其中遮挡对象从图像或视频中移除。
这些技术中的一个或多个可包含为手术机器人系统中成像系统的部分，以为临床医生提供内窥镜视场内的额外信息。这样可使临床医生在手术期间能够快速识别、避免和/或纠正不当情况和状况。
本公开涉及用于在手术程序期间实时地向临床医生提供经过处理的图像的系统和方法，其中遮挡对象从图像中移除。本文中所描述的系统和方法对所捕获的图像应用图像处理滤波器，以提供无遮挡的图像。在一些实施例中，系统和方法准许在手术程序期间的视频捕获。实时地或近实时地处理所捕获的视频且接着将其作为经过处理的图像显示给临床医生。将图像处理滤波器应用到所捕获的视频的每一帧。将经过处理的图像或视频提供给临床医生为临床医生提供了未遮挡的视图。
本文中所描述的实施例使临床医生能够足够详细地观察到所关注区域以确保手术程序的效果。
转向图1，根据本公开的实施例的用于处理手术环境的图像和/或视频的系统大体上示出为100。系统100包含控制器102，所述控制器具有处理器104和存储器106。系统100还包含记录静止帧图像或移动图像的图像捕获装置108，例如，相机。图像捕获装置108可以并入到内窥镜、立体内窥镜或用于微创手术的任何其它手术工具中。显示器110在手术程序期间向临床医生显示经过处理的图像。显示器110可以是监视器、投影仪或临床医生佩戴的一副眼镜。在一些实施例中，控制器102可以经由无线或有线连接与中央服务器(未示出)通信。中央服务器可存储一个或多个患者的图像，所述图像可使用x射线、计算机断层扫描或磁共振成像来获得。
图2描绘控制器102的系统框图。如图2中所示出，控制器102包含配置成从图像捕获装置108接收静态帧图像或视频的收发器112。在一些实施例中，收发器112可以包含用于经由无线通信协议接收静态帧图像、视频或数据的天线。将静态帧图像、视频或数据提供到处理器104。处理器104包含图像处理滤波器114，其处理所接收的静态帧图像、视频或数据，以生成经过处理的图像或视频。可使用离散组件、软件或其组合实施图像处理滤波器114。将经过处理的图像或视频提供到显示器110。
参看图3A和4时将更详细地描述用于移除遮挡对象的系统和方法。如图3A和4中所示出，在步骤s10中，图像捕获装置108捕获初始图像。在步骤s12中，处理器104确定是否存在遮挡对象。如果不存在遮挡对象，那么过程进行到步骤s14，其中图像显示在显示器110上。如果处理器104确定存在遮挡对象，那么处理器104执行存储于存储器10中的移除算法。可使用常规的图像处理技术通过处理器104确定遮挡对象的存在或可通过用户使用触摸屏装置或用于选择显示器上的对象的任何其它常规方法(例如，鼠标、操纵杆、语音命令、触摸板等)来确定遮挡对象的存在。
在步骤s16中，将计数器“N”设置成“0”且将在步骤s10中捕获的图像设置为“I0”且传送给图像处理滤波器114。在步骤s20中，使计数器“N”递增1，且在步骤s22中处理器接着控制图像捕获装置108以执行预先确定的量值和方向的多个移动，以便从不同视角获得手术部位的多个图像。图像捕获装置108的移动可包含移动整个装置或装置108中的透镜(未示出)。在将图像捕获装置108移动预先确定的量后，图像捕获装置108在步骤s24中捕获新图像且将新图像存储为“IN”。重复步骤s20到s26，直到图像捕获装置108捕获和存储图像“IM”为止，其中“M”是由图像捕获装置108执行的移动的预先确定的数目。
在步骤s28中，由图像捕获装置108捕获的“M+1”图像组合在图像过滤器120中。图像过滤器120使用常规的图像处理技术将图像“I0”转换成包含手术部位的图像的背景图象“IB0”，和包含遮挡对象的遮挡层“IL0”。图像滤波器重复图像“I1”到“IM”的转换，以生成背景图像“IB1”到“IBM”和遮挡层“IL1”到“ILM”。图像“IB0”到“IBM”将接着经对齐和彼此覆盖以产生经过处理的图像，以在显示器110中向用户显示，其中遮挡对象已移除。
在另一实施例中，在步骤s28中，可从图像“I0”中移除遮挡对象，而保留图像“I0”中的空白空间。图像过滤器120使用来自以不同视角获取的图像“I1”到“IM”的对应像素填充在图像“I0”中形成的空白空间，由此产生手术部位的完整图像，而无遮挡对象。具体来说，通过过滤器120比较图像“I0”和图像“I1”以对齐或对准两个图像。接着图像过滤器120使用图像“I1”中不属于遮挡对象的像素填充图像“I0”中的空白空间。对剩余图像“I2”到“IM”重复过程，直到填充图像“I0”中的空白空间为止。
在另一实施例中，可随时间推移获得多个图像以移除遮挡对象。如图3B和4中所示出，在步骤s32中，图像捕获装置108随时间推移捕获视频内容，其中视频内容包括多个图像。在步骤s34中，处理器104可接着基于视频内容中所包含的所述多个图像、所述遮挡对象的位置以及当捕获所述视频内容时内窥镜的视点来生成取代像素的集合。取代像素的集合可存储于存储器106中。在步骤s36中，图像捕获装置108捕获初始图像。在步骤s38中，处理器104确定是否存在遮挡对象。如果不存在遮挡对象，那么过程进行到步骤s40，其中图像显示在显示器110上。在步骤s42中，如果处理器104确定存在遮挡对象，那么处理器104执行存储于存储器10中的移除算法。在步骤s42中，图像过滤器120使用取代像素的集合处理初始图像以从初始图像移除遮挡对象，以生成经过处理的图像。为了从初始图像移除遮挡对象，图像过滤器120识别在相对于图像捕获装置108的特定空间位置处属于特定对象的像素。图像过滤器120接着移除属于遮挡对象的相对较近的像素，其是离图像捕获装置108相对更接近的像素，且使用来自取代像素的集合的相对较远的像素取代相对较近的像素。接着使用相对较远像素代替相对较近像素重组图像以创建经过处理的图像。接着在步骤s44中，在显示器110上显示经过处理的图像。
图5描绘由图像捕获装置108捕获的手术环境的图像130。图像130由图像处理滤波器114处理，其可涉及图像过滤器120的使用，以生成经过处理的图像132。如在经过处理的图像132中可见，从经过处理的图像132中移除图像130中存在的遮挡的对象“O”。
上文所描述的实施例还可配置成与通常称为“遥控手术”的机器人手术系统一起操作。此类系统采用各种机器人元件以在手术室中辅助临床医生且允许对手术器械的远程操作(或部分远程操作)。可出于此目的采用各种机器人臂、齿轮、凸轮、滑轮、电动机以及机械电动机等，且可将其设计成具有机器人手术系统以在操作或治疗过程期间辅助临床医生。此类机器人系统可包含远程可导向系统、自动柔性手术系统、远程柔性手术系统、远程铰接手术系统、无线手术系统、模块化或选择性可配置远程操作手术系统等。
如图6中所示出，机器人手术系统200可与紧邻手术室或位于远程位置的一个或多个控制台202一起使用。在此例子中，一个团队的临床医生或护士可使患者做好手术准备，且用一个或多个器械204配置机器人手术系统200，而另一临床医生(或一组临床医生)经由机器人手术系统远程控制器械。如可了解，高度熟练的临床医生可在多个位置执行多个手术而不离开他/她的远程控制台，这对于患者或一系列患者来说经济上有利且有益。
手术系统200的机器人臂206通常由控制器210耦合到一对主控手柄208。控制器210可以与控制台202集成，或提供为手术室内的独立装置。手柄206可由临床医生移动以产生附接到机器人臂206的任何类型的手术器械204(例如，探针、末端执行器、抓钳、刀、剪刀等)的工作端的对应移动。举例来说，手术器械204可以是包含图像捕获装置的探针。探针插入到患者体内以便在外科手术期间捕获患者体内的所关注区域的图像。在显示器110上将图像显示给临床医生之前，由控制器210将图像处理滤波器114A或114B中的一个或多个应用于所捕获的图像。
可按比例调整主控手柄208的移动，从而使得工作端的对应移动不同于，大于或小于由临床医生的动手术手进行的移动。可调整缩放因子或传动比，使得操作者可控制手术器械204的工作端的分辨率。
在手术系统200的操作期间，主控手柄208由临床医生操作以产生机器人臂206和/或手术器械204的对应移动。主控手柄208将信号提供到控制器210，控制器210接着将对应信号提供到一个或多个驱动电机214。一个或多个驱动电机214耦合到机器人臂206，以便移动机器人臂206和/或手术器械204。
主控手柄208可包含各种触觉件216，触觉件216用以将与各种组织参数或状况相关的反馈，例如归因于操纵的组织抗性、切割或以其它方式治疗、通过器械压在组织上、组织温度、组织阻抗等，提供给临床医生。如可了解，此类触觉件216向临床医生提供模拟实际操作状况的增强的触觉反馈。触觉件216可包含振动电机、电活性聚合物、压电装置、静电装置、次声波音频波表面致动装置、反向电振动或能够将触觉反馈提供给用户的任何其它装置。主控手柄208还可包含多种不同致动器218，其用于精细组织操纵或治疗，从而进一步增强临床医生模仿实际操作状况的能力。
本文中所公开的实施例是本公开的实例，且可以各种形式体现。本文中所公开的特定结构和功能细节不应被解释为限制性的，而是应被解释为权利要求书的基础，和用于教示本领域的技术人员以实际上任何适当详细结构不同地使用本公开的代表性基础。类似参考数字可贯穿图式的描述指类似或相同元件。
短语“在实施例中”、“在一些实施例中”或“在其它实施例中”可各自是指根据本公开的相同或不同实施例中的一个或多个。采用“A或B”形式的短语意指“(A)、(B)或(A和B)”。采用“A、B或C中的至少一个”形式的短语意指“(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)”。临床医生可以是指执行医疗程序的外科医生或任何医疗专业人员，例如医生、护士、技术员、医疗助理等等。
本文中所描述的系统还可利用一个或多个控制器来接收各种信息且转化所接收到的信息以生成输出。控制器可包含任何类型的计算装置、计算电路，或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可包含多个处理器和/或多核中央处理单元(CPU)，且可包含任何类型的处理器，例如微处理器、数字信号处理器、微控制器等等。控制器还可包含用以存储数据和/或算法以执行一系列指令的存储器。
本文中所描述方法、程序、算法或代码中的任一种可转换成编程语言或计算机程序或以编程语言或计算机程序表达。“编程语言”和“计算机程序”包含用于将指令指定给计算机的任何语言，且包含(但不限于)这些语言和其派生语言：汇编程序、Basic、批处理文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、帕斯卡、Perl、PL1、脚本语言、Visual Basic、自身指定程序的元语言，以及所有第一代、第二代、第三代、第四代和第五代计算机语言。还包含数据库和其它数据模式，以及任何其它元语言。不对被解译、编译或使用经编译和解译方法两者的语言进行区分。也不对程序的编译版本与源版本进行区分。因此，提及编程语言可以多于一种状态存在(例如，源、经编译、对象或经链接)的程序是对任何和所有这类状态的提及。对程序的提及可涵盖实际指令和/或那些指令的意图。
本文中所描述方法、程序、算法或代码中的任一个可包含在一个或多个机器可读媒体或存储器上。术语“存储器”可包含以由例如处理器、计算机或数字处理装置等机器可读的形式提供(例如，存储和/或传送)信息的机构。举例来说，存储器可包含只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、快闪存储器装置，或任何其它易失性或非易失性存储器存储装置。其上含有的代码或指令可由载波信号、红外信号、数字信号和其它类似信号表示。
应理解，前述描述仅说明本公开。本领域的技术人员可在不脱离本公开的情况下设计各种替代和修改。举例来说，本文中所描述的经过处理的图像中的任一个可组合到待显示给临床医生的单个经过处理的图像中。因此，本公开旨在涵盖所有此类替代、修改和变化。呈现参考所附图式所描述的实施例仅为了展现本公开的某些实例。与上文所描述和/或所附权利要求书中的元件、步骤、方法和技术无实质不同的其它元件、步骤、方法和技术也旨在在本公开的范围内。
Claims (18)
1.一种用于从手术图像移除遮挡对象的系统，所述系统包括：
图像捕获装置，其配置成插入到患者体中，并在所述手术程序期间捕获所述患者体内的手术部位的初始图像；以及
控制器，其配置成接收来自所述图像捕获装置的所述初始图像，其中，当所述控制器确定所述初始图像中存在所述遮挡对象时，所述控制器执行移除算法，其中所述移除算法包含：
控制所述图像捕获装置以捕获多个图像；以及
应用图像滤波器以组合所述初始图像和所述多个图像并生成经过处理的图像，其中所述遮挡对象从所述经过处理的图像中移除。
2.根据权利要求1所述的系统，其中所述移除算法进一步包含控制所述图像捕获装置以执行多个移动，其中所述多个移动中的每一图像对应于所述多个移动中的一个移动。
3.根据权利要求2所述的系统，其中所述多个移动中的每一移动包含量值和方向。
4.根据权利要求2所述的系统，其中所述多个移动中的每一移动是预先确定的。
5.根据权利要求1所述的系统，其中应用所述图像滤波器包含：
将所述初始图像分离成初始背景图象和初始遮挡层；
将所述多个图像分离成多个背景图像和多个遮挡层；以及
组合所述初始背景图像和所述多个背景图像以生成所述经过处理的图像。
6.根据权利要求5所述的系统，其中组合所述初始背景图像和所述多个背景图像包含：
使所述初始背景图象与所述多个背景图像对齐；以及
覆盖对齐的初始背景图象和所述多个背景图像。
7.根据权利要求1所述的系统，其中应用所述图像滤波器包含：
从所述初始图像移除所述遮挡对象以创建空白空间；
使所述多个图像与所述初始图像对齐；以及
利用来自对齐的多个图像的对应像素填充所述初始图像中的所述空白空间，其中所述对应像素不包含所述遮挡对象。
8.根据权利要求1所述的系统，其中所述控制器基于来自用户的输入确定所述初始图像中存在所述遮挡对象。
9.根据权利要求1所述的系统，其进一步包括显示所述经过处理的图像的显示器。
10.一种用于从手术图像移除遮挡对象的方法，所述方法包括：
在手术程序期间利用图像捕获装置捕获患者体内的手术部位的初始图像；以及
当在所述初始图像中检测到所述遮挡对象时执行移除算法，所述移除算法包含：
控制所述图像捕获装置以捕获多个图像；以及
应用图像滤波器以组合所述初始图像和所述多个图像并生成经过处理的图像，其中所述遮挡对象从所述经过处理的图像中移除。
11.根据权利要求10所述的方法，其中所述移除算法进一步包含控制所述图像捕获装置以执行多个移动，其中所述多个移动中的每一图像对应于所述多个移动中的一个移动。
12.根据权利要求11所述的方法，其中所述多个移动中的每一移动包含量值和方向。
13.根据权利要求11所述的方法，其中所述多个移动中的每一移动是预先确定的。
14.根据权利要求10所述的方法，其中应用所述图像滤波器包含：
将所述初始图像分离成初始背景图象和初始遮挡层；
将所述多个图像分离成多个背景图像和多个遮挡层；以及
组合所述初始背景图像和所述多个背景图像以生成所述经过处理的图像。
15.根据权利要求14所述的方法，其中组合所述初始背景图像和所述多个背景图像包含：
使所述初始背景图象与所述多个背景图像对齐；以及
覆盖对齐的初始背景图象和所述多个背景图像。
16.根据权利要求10所述的方法，其中应用所述图像滤波器包含：
从所述初始图像移除所述遮挡对象以创建空白空间；
使所述多个图像与所述初始图像对齐；以及
利用来自对齐的多个图像的对应像素填充所述初始图像中的所述空白空间，其中所述对应像素不包含所述遮挡对象。
17.根据权利要求10所述的方法，其进一步包括显示所述经过处理的图像。
18.一种用于从手术图像移除遮挡对象的系统，所述系统包括：
图像捕获装置，其配置成插入到患者体中且在手术程序期间捕获包含所述患者体内的手术部位的多个图像的视频内容；以及
控制器，其配置成基于所述视频内容中所包含的所述多个图像、所述遮挡对象的位置以及当捕获所述视频内容时所述图像捕获装置的视点来生成取代像素的集合，
其中所述图像捕获装置在手术程序期间捕获所述患者体内的手术部位的初始图像，且当所述控制器确定所述初始图像中存在所述遮挡对象时，所述控制器执行移除算法，其中所述移除算法包含对所述初始图像应用图像滤波器以生成经过处理的图像，其中所述遮挡对象基于取代像素的所述集合从所述经过处理的图像中移除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110501226.XA CN113197668A (zh) | 2016-03-02 | 2017-02-24 | 用于移除手术图像和/或视频中的遮挡对象的系统和方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662302366P | 2016-03-02 | 2016-03-02 | |
| US62/302,366 | 2016-03-02 | ||
| PCT/US2017/019257 WO2017151414A1 (en) | 2016-03-02 | 2017-02-24 | Systems and methods for removing occluding objects in surgical images and/or video |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110501226.XA Division CN113197668A (zh) | 2016-03-02 | 2017-02-24 | 用于移除手术图像和/或视频中的遮挡对象的系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108778180A CN108778180A (zh) | 2018-11-09 |
| CN108778180B true CN108778180B (zh) | 2021-06-01 |
Family
ID=59743153
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110501226.XA Pending CN113197668A (zh) | 2016-03-02 | 2017-02-24 | 用于移除手术图像和/或视频中的遮挡对象的系统和方法 |
| CN201780014065.3A Active CN108778180B (zh) | 2016-03-02 | 2017-02-24 | 用于移除手术图像和/或视频中的遮挡对象的系统和方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110501226.XA Pending CN113197668A (zh) | 2016-03-02 | 2017-02-24 | 用于移除手术图像和/或视频中的遮挡对象的系统和方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US10849709B2 (zh) |
| EP (1) | EP3422992A4 (zh) |
| JP (1) | JP2019515698A (zh) |
| CN (2) | CN113197668A (zh) |
| WO (1) | WO2017151414A1 (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11304692B2 (en) | 2018-07-16 | 2022-04-19 | Cilag Gmbh International | Singular EMR source emitter assembly |
| CN109377506A (zh) * | 2018-11-29 | 2019-02-22 | 北京小米移动软件有限公司 | 视频处理方法及装置 |
| US10758309B1 (en) | 2019-07-15 | 2020-09-01 | Digital Surgery Limited | Methods and systems for using computer-vision to enhance surgical tool control during surgeries |
| CN111002287B (zh) * | 2019-12-26 | 2021-11-30 | 北京海益同展信息科技有限公司 | 机器人、图像采集方法、电子设备及计算机可读存储介质 |
| US11896442B2 (en) | 2019-12-30 | 2024-02-13 | Cilag Gmbh International | Surgical systems for proposing and corroborating organ portion removals |
| US11284963B2 (en) | 2019-12-30 | 2022-03-29 | Cilag Gmbh International | Method of using imaging devices in surgery |
| US11832996B2 (en) | 2019-12-30 | 2023-12-05 | Cilag Gmbh International | Analyzing surgical trends by a surgical system |
| US11759283B2 (en) | 2019-12-30 | 2023-09-19 | Cilag Gmbh International | Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto |
| US11219501B2 (en) | 2019-12-30 | 2022-01-11 | Cilag Gmbh International | Visualization systems using structured light |
| US11776144B2 (en) | 2019-12-30 | 2023-10-03 | Cilag Gmbh International | System and method for determining, adjusting, and managing resection margin about a subject tissue |
| US11648060B2 (en) | 2019-12-30 | 2023-05-16 | Cilag Gmbh International | Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ |
| US11744667B2 (en) * | 2019-12-30 | 2023-09-05 | Cilag Gmbh International | Adaptive visualization by a surgical system |
| WO2022040251A1 (en) * | 2020-08-19 | 2022-02-24 | Covidien Lp | Predicting stereoscopic video with confidence shading from a monocular endoscope |
| CN116849803A (zh) * | 2021-11-08 | 2023-10-10 | 深圳市精锋医疗科技股份有限公司 | 界面显示控制方法和装置、计算机设备和系统、及介质 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7085409B2 (en) * | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
| ES2307745T3 (es) | 2001-04-20 | 2008-12-01 | Power Medical Interventions, Inc. | Dispositivo de formacion de imagen. |
| US7664326B2 (en) * | 2004-07-09 | 2010-02-16 | Aloka Co., Ltd | Method and apparatus of image processing to detect and enhance edges |
| DE102004046430A1 (de) * | 2004-09-24 | 2006-04-06 | Siemens Ag | System zur visuellen Situations-bedingten Echtzeit-basierten Unterstützung eines Chirurgen und Echtzeit-basierter Dokumentation und Archivierung der vom Chirurgen während der Operation visuell wahrgenommenen Unterstützungs-basierten Eindrücke |
| WO2006099490A1 (en) * | 2005-03-15 | 2006-09-21 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer program products for processing three-dimensional image data to render an image from a viewpoint within or beyond an occluding region of the image data |
| US8295577B2 (en) | 2005-03-31 | 2012-10-23 | Michael Zarkh | Method and apparatus for guiding a device in a totally occluded or partly occluded tubular organ |
| WO2007035943A2 (en) * | 2005-09-23 | 2007-03-29 | Braintech Canada, Inc. | System and method of visual tracking |
| US7778445B2 (en) * | 2006-06-07 | 2010-08-17 | Honeywell International Inc. | Method and system for the detection of removed objects in video images |
| JP5331797B2 (ja) * | 2008-04-14 | 2013-10-30 | 株式会社日立メディコ | 医用診断装置および医用診断装置の画質改善方法 |
| WO2010084521A1 (ja) * | 2009-01-20 | 2010-07-29 | 本田技研工業株式会社 | ウインドシールド上の雨滴を同定するための方法及び装置 |
| US9526586B2 (en) | 2013-08-12 | 2016-12-27 | Z Microsystems, Inc. | Software tools platform for medical environments |
| EP2339534A1 (en) | 2009-11-18 | 2011-06-29 | Panasonic Corporation | Specular reflection compensation |
| EP2550909A4 (en) * | 2010-03-24 | 2016-01-27 | Olympus Corp | ENDOSCOPE DEVICE |
| US20130316318A1 (en) * | 2012-05-22 | 2013-11-28 | Vivant Medical, Inc. | Treatment Planning System |
| US10039440B2 (en) * | 2012-06-11 | 2018-08-07 | Intuitive Surgical Operations, Inc. | Systems and methods for cleaning a minimally invasive instrument |
| US9492065B2 (en) | 2012-06-27 | 2016-11-15 | Camplex, Inc. | Surgical retractor with video cameras |
| EP2962247A4 (en) * | 2013-02-26 | 2016-09-14 | A2Zlogix Inc | DETERMINING THE OCCLUSION OF AN OBJECT IN A PICTURE SEQUENCE |
| KR102117273B1 (ko) | 2013-03-21 | 2020-06-01 | 삼성전자주식회사 | 수술 로봇 시스템 및 그 제어 방법 |
| US8958608B2 (en) * | 2013-06-04 | 2015-02-17 | Ut-Battelle, Llc | Frontal view reconstruction for iris recognition |
-
2017
- 2017-02-24 CN CN202110501226.XA patent/CN113197668A/zh active Pending
- 2017-02-24 JP JP2018544188A patent/JP2019515698A/ja active Pending
- 2017-02-24 CN CN201780014065.3A patent/CN108778180B/zh active Active
- 2017-02-24 US US16/081,193 patent/US10849709B2/en active Active
- 2017-02-24 WO PCT/US2017/019257 patent/WO2017151414A1/en active Application Filing
- 2017-02-24 EP EP17760499.8A patent/EP3422992A4/en active Pending
-
2020
- 2020-12-01 US US17/108,173 patent/US20210077220A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20190053872A1 (en) | 2019-02-21 |
| EP3422992A4 (en) | 2019-10-30 |
| CN108778180A (zh) | 2018-11-09 |
| WO2017151414A1 (en) | 2017-09-08 |
| JP2019515698A (ja) | 2019-06-13 |
| US10849709B2 (en) | 2020-12-01 |
| EP3422992A1 (en) | 2019-01-09 |
| US20210077220A1 (en) | 2021-03-18 |
| CN113197668A (zh) | 2021-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108778180B (zh) | 用于移除手术图像和/或视频中的遮挡对象的系统和方法 | |
| US11096749B2 (en) | Augmented surgical reality environment for a robotic surgical system | |
| US20210358122A1 (en) | Augmented surgical reality environment | |
| JP2021100690A (ja) | 手術室及び手術部位認識 | |
| CN108135456B (zh) | 用于放大手术环境中所关注区域中的改变的系统和方法 | |
| KR102117273B1 (ko) | 수술 로봇 시스템 및 그 제어 방법 | |
| CN108271345B (zh) | 用于检测表面下的血液的系统和方法 | |
| US20200184638A1 (en) | Systems and methods for enhancing surgical images and/or video | |
| WO2019035206A1 (ja) | 医療システムおよび画像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |