CN110996831A - 用于增强手术图像和/或视频的系统和方法 - Google Patents

用于增强手术图像和/或视频的系统和方法 Download PDF

Info

Publication number
CN110996831A
CN110996831A CN201880052747.8A CN201880052747A CN110996831A CN 110996831 A CN110996831 A CN 110996831A CN 201880052747 A CN201880052747 A CN 201880052747A CN 110996831 A CN110996831 A CN 110996831A
Authority
CN
China
Prior art keywords
filter
image
enhanced
frequency bands
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880052747.8A
Other languages
English (en)
Inventor
D·迈哲朗
M·罗森伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN110996831A publication Critical patent/CN110996831A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/742—Joysticks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

一种用于在手术程序期间增强图像的系统包含图像捕捉装置，所述图像捕捉装置被配置成插入到患者体内并捕捉所述患者体内的图像。所述系统还包含控制器，所述控制器将至少一个图像处理滤波器应用于所述图像以生成增强的图像。所述图像处理滤波器包含：空间分解滤波器，其将所述图像分解成多个空间频带；频率滤波器，其对所述多个空间频带进行滤波以生成多个滤波增强的频带；以及重组滤波器，其生成将由显示器显示的所述增强的图像。

Description

用于增强手术图像和/或视频的系统和方法
背景技术
微创手术涉及使用多个小切口而非一个较大开口或切口来执行手术程序。小切口减少了患者的不适并且缩短了恢复时间。小切口也限制了内脏、组织和其它物质的可见性。
使用内窥镜并将其插入一个或多个切口中，以使临床医师有可能在手术期间看到体内的内脏、组织和其它物质。当在微创手术期间执行电外科程序时，临床医师常看到由汽化组织产生的烟雾，由此暂时遮蔽内窥镜提供的视图。从内窥镜视图去除烟雾的常规方法包含从手术环境抽空空气。
需要改进的方法来为临床医师提供不被烟雾遮蔽的内窥镜视图。
发明内容
本公开涉及改善患者手术结果的手术技术，更具体地说，涉及用于在执行手术技术时从临床医师的视野中去除临时阻挡的系统和方法。
在本公开的一方面，提供一种用于在手术程序期间增强手术图像的系统。所述系统包含被配置成在手术程序期间插入患者体内并在患者体内捕捉图像的图像捕捉装置，以及被配置成接收所述图像并将至少一个图像处理滤波器应用于所述图像以生成增强的图像的控制器。所述图像处理滤波器包含空间和/或时间分解滤波器和重组滤波器。所述空间分解滤波器被配置成将所述图像分解为多个空间频带，频率滤波器被配置成对所述多个空间频带进行滤波以生成多个增强的频带。所述重组滤波器被配置成通过折叠所述多个增强的频带来生成增强的图像。所述系统还包含被配置成在手术程序期间将增强的图像显示给用户的显示器。
在一些实施例中，图像捕捉装置捕捉具有多个图像的视频，并且控制器将所述至少一个图像处理滤波器应用于所述多个图像中的每个图像。
在一些实施例中，所述频率滤波器是时间滤波器。在其它实施例中，所述频率滤波器是滤色器。所述频率滤波器的频率可由临床医师设置或通过算法基于目标功能来设置，所述目标功能例如是使移动适合于空间频带的色带的存在衰减。
在本公开的另一方面，提供一种用于在手术程序期间增强至少一个图像的方法。所述方法包含使用图像捕捉装置捕捉至少一个图像以及对所述至少一个图像进行滤波。对所述至少一个图像进行滤波包含：分解所述至少一个图像以生成多个空间频带，将频率滤波器应用于所述多个空间频带以生成多个增强的频带，以及折叠所述多个增强的频带以生成增强的图像。所述方法还包含在显示器上显示所述增强的图像。
在一些实施例中，所述方法还包含捕捉具有多个图像的视频以及对所述多个图像中的每个图像进行滤波。
在一些实施例中，增强的滤波器是时间滤波器。在其它实施例中，增强的滤波器是滤色器。增强的滤波器的频率可由临床医师设置。
在一些实施例中，将所述频率滤波器应用于所述多个空间频带以生成所述多个增强的频带包含：将滤色器应用于所述多个空间频带以生成多个部分增强的频带，以及将时间滤波器应用于所述多个部分增强的频带以生成所述多个增强的频带。将所述滤色器应用于所述多个空间频带以生成所述多个部分增强的频带可包含隔离对所述部分增强的频带的一部分的阻挡。将所述时间滤波器应用于所述多个部分增强的频带以生成所述多个增强的频带可包含将所述时间滤波器仅应用于包含所述阻挡的多个部分增强的频带的部分。
此外，在一致的程度上，本文描述的任何方面可与本文描述的任何或所有其它方面结合使用。
附图说明
根据以下结合附图进行的详细描述，本公开的上述和其它方面、特征和优势将变得更加显而易见，在附图中：
图1是根据本公开的实施例的用于增强手术环境的系统的框图；
图2是图1的控制器的系统框图；
图3是根据本公开的实施例的用于增强图像或视频的系统的框图；
图4是根据本公开的另一实施例的用于增强图像或视频的系统的框图；
图5示出捕捉的图像和增强的图像的示例；以及
图6是根据本公开的实施例的机器人手术系统的系统框图。
具体实施方式
可分析手术程序期间从内窥镜捕捉的图像数据以检测内窥镜视野内的色彩变化或移动。可将各种图像处理技术应用于此图像数据，以识别并增强或减小这些色彩变化和/或移动。例如，欧拉(Eulerian)图像放大/最小化技术可用以识别和修改所显示图像的不同部分中的光的“色彩”变化。
基于相位的运动放大技术也可用于识别跨图像帧的运动或移动。在一些情况下，可向临床医师呈现跨不同图像帧的预定波长的光的测得强度的变化，以使临床医师更清楚特定受关注对象的运动。
欧拉图像放大技术和/或基于相位的运动放大技术可包含为成像系统的部分。这些技术可使成像系统能够提供内窥镜视野内的特定位置的更高细节。
这些技术中的一个或多个可包含为手术机器人系统中成像系统的部分，以向临床医师提供内窥镜视野内的额外信息。这样可使临床医师能够在手术期间快速识别、避免和/或纠正不当情况和状况。
本公开涉及用于在手术程序期间将增强的图像实时提供给临床医师的系统和方法。本文所描述的系统和方法将图像处理滤波器应用于捕捉的图像，以提供无遮蔽图像。在一些实施例中，所述系统和方法准许在手术程序期间的视频捕捉。实时或近实时地处理捕捉到的视频，然后将其作为增强的图像显示给临床医师。将图像处理滤波器应用于捕捉的视频的每个帧。将增强的图像或视频提供给临床医师会向临床医师提供未遮蔽的视图。
本文所描述的实施例使临床医师能够充分详细地查看受关注区域以确保手术程序的效果。
转到图1，根据本公开的实施例，将用于增强手术环境的图像和/或视频的系统总体上示为100。系统100包含控制器102，所述控制器具有处理器104和存储器106。系统100还包含记录静止帧图像或移动图像的图像捕捉装置108，例如，相机。图像捕捉装置108可并入到内窥镜、立体内窥镜或用于微创手术的任何其它手术工具中。显示器110在手术程序期间向临床医师显示增强的图像。显示器110可以是监视器、投影仪或临床医师佩戴的眼镜。在一些实施例中，控制器102可通过无线或有线连接与中央服务器(未示出)通信。中心服务器可存储一个或多个患者的图像，所述图像可使用x射线、计算机断层摄影法扫描或磁共振成像来获得。
图2描绘控制器102的系统框图。如图2所示，控制器102包含被配置成从图像捕捉装置108接收静止帧图像或视频的收发器112。在一些实施例中，收发器112可包含用以通过无线通信协议接收静止帧图像、视频或数据的天线。将静止帧图像、视频或数据提供到处理器104。处理器104包含图像处理滤波器114，其处理接收到的静止帧图像、视频或数据以生成增强的图像或视频。可使用离散组件、软件或其组合来实施图像处理滤波器114。将增强的图像或视频提供到显示器110。
转到图3，将可应用于由收发器112接收到的图像和/或视频的运动滤波器的系统框图示为114A。运动滤波器114A是图像处理滤波器114中包含的滤波器之一。在运动滤波器114A中，使用空间分解滤波器116将接收到的视频的每个帧分解成不同空间频带M1到MN。空间分解滤波器116使用称为金字塔的图像处理技术，其中图像经受重复的空间滤波器处理，产生可选数目的层级(受图像的取样大小约束)，每个层级由空间频率相关信息的不同最大值组成。空间滤波器专门设计成实现构造具有变化的频率内容的独特金字塔层级。
在帧经受空间分解滤波器116处理之后，将频率或时间滤波器118应用于所有空间频带M1到MN，以生成经过时间滤波的频带MT1到MTN。时间滤波器118可以是用于提取一个或多个所要频带的带通滤波器或带阻滤波器。例如，如果临床医师在执行电外科程序并且想要从图像消除烟雾，则临床医师可将带阻或陷波滤波器设置成对应于烟雾的移动的频率。换句话说，陷波滤波器被设置为包含烟雾移动的较窄范围并应用于空间频带M1到MN。设想可基于要从帧中去除或最小化的阻挡来设置陷波滤波器的频率。使对应于陷波滤波器的设置范围的空间频带衰减以增强来自原始空间频带M1到MN的所有经过时间滤波的频带MT1到MTN以生成增强的频带M'1到M'N。
接着，使用重组滤波器70通过折叠增强的频带M'1到M'N来重建视频的每个帧，以生成增强的帧。组合所有增强的帧以产生增强的视频。向临床医师示出的增强的视频包含没有烟雾等阻挡的手术环境。
在一些实施例中，可在使用运动滤波器(例如运动滤波器114A)之前应用滤色器114B(例如色彩放大滤波器)来改善增强的图像或视频。通过将滤色器114B设置到特定色彩频带，可改进从显示器110上示出的增强的图像中对烟雾等某些项目的去除，从而准许临床医师毫无障碍地很容易看到手术环境。在应用运动滤波器之前，滤色器114B可使用一个或多个色彩识别空间频带中的阻挡。滤色器114B可隔离对帧的一部分的阻挡，从而允许运动滤波器应用于帧的隔离部分。通过仅将运动滤波器应用于帧的隔离部分，可增大生成和显示增强的图像或视频的速度。
例如，图4是可应用于由收发器112接收的图像和/或视频的滤色器114B的系统框图。滤色器114B是图像处理滤波器114中包含的滤波器中的另一个滤波器。在滤色器114B中，使用空间分解滤波器122将接收到的视频的每个帧分解成不同空间频带C1到CN。类似于空间分解滤波器116，空间分解滤波器122也使用称为金字塔的图像处理技术，其中图像经受重复的空间滤波器处理，产生可选数目的层级。
在帧经受空间分解滤波器122处理之后，将频率滤波器或滤色器124应用于所有空间频带C1到CN，以生成经过滤色的频带CF1到CFN。滤色器124可以是用于提取一个或多个所要频带的带通滤波器或带阻滤波器。例如，如果临床医师在执行使汽化组织中发出烟雾的电外科技术，临床医师可将带阻或陷波滤波器设置成对应于烟雾的色彩的频率。换句话说，陷波滤波器被设置为包含烟雾的较窄范围并应用于所有空间频带C1到CN。设想可基于要从帧中去除或最小化的阻挡来设置陷波滤波器的频率。使对应于陷波滤波器的设置范围的空间频带衰减以增强来自原始空间频带C1到CN的所有经过滤色的频带CF1到CFN以生成增强的频带C'1到C'N。
接着，使用重组滤波器126通过折叠增强的频带C'1到C'N来重建视频的每个帧，以生成增强的帧。组合所有增强的帧以产生增强的视频。向临床医师示出的增强的视频包含没有烟雾等阻挡的手术环境。
图5描绘由图像捕捉装置108捕捉的手术环境的图像130。图像130由图像处理滤波器114处理，这可涉及运动滤波器114A和/或滤色器114B的使用，以生成增强的图像132。如在增强的图像132中可见，图像130中存在的烟雾“S”已从增强的图像132中去除。
上文所描述的实施例还可被配置成结合机器人手术系统和通常被称为“遥控手术”的方面起作用。此类系统使用各种机器人元件来在手术室中辅助临床医师以及允许手术器械的远程操作(或部分远程操作)。可出于此目的使用各种机械臂、齿轮、凸轮、滑轮、电动机以及机械电机等，且可结合机器人手术系统对其进行设计以在手术或治疗过程期间辅助临床医师。此类机器人系统可包含远程可转向系统、自动柔性手术系统、远程柔性手术系统、远程铰接手术系统、无线手术系统、模块化或选择性可配置远程操作手术系统等。
如图6所示，机器人手术系统200可结合紧挨着手术室或位于远程位置的一个或多个控制台202使用。在此实例中，一队临床医师或护士可使患者准备好进行手术，并用一个或多个器械204配置机器人手术系统200，而另一临床医师(临床医师群组)通过机器人手术系统远程控制所述器械。如可了解，高度熟练的临床医师可在不离开其远程控制台的情况下在多个位置执行多个操作，这在经济上有利，并且对于患者或一系列患者也是有益的。
手术系统200的机械臂206通常通过控制器210联接到一对主手柄208。控制器210可与控制台202集成，或提供为手术室内的独立装置。手柄206可由临床医师移动以产生附接到机械臂206的任何类型的手术器械204(例如，探针、末端执行器、抓紧器、刀片、剪刀等)的工作端的对应移动。例如，手术器械204可以是包含图像捕捉装置的探针。探针插入到患者体内，以便在手术程序期间捕捉患者体内的受关注区域的图像。在显示器110上将图像显示给临床医师之前，由控制器210将图像处理滤波器114A或114B中的一个或多个应用于捕捉的图像。
可缩放主手柄208的移动，使得工作端的对应移动不同于——小于或大于——通过临床医师的操作手执行的移动。可调整缩放因子或传动比(gearing ratio)，使得操作者可控制手术器械204的工作端的分辨率。
在手术系统200的操作期间，主手柄208由临床医师操作以产生机械臂206和/或手术器械204的对应移动。主手柄208将信号提供到控制器210，所述控制器接着将对应信号提供到一个或多个驱动电机214。一个或多个驱动电机214联接到机械臂206，以便移动机械臂206和/或手术器械204。
主手柄208可包含各种触觉件216，以向临床医师提供关于各种组织参数或条件的反馈，例如，因操控、切割或另外的处理所致的组织阻力、器械对组织的压力、组织温度、组织阻抗等。如可理解，此类触觉件216为临床医师提供了模拟实际操作条件的增强的触觉反馈。触觉件216可包含振动电机、电活性聚合物、压电装置、静电装置、次声波音频波表面致动装置、反向电振动或能够将触觉反馈提供给用户的任何其它装置。主手柄208还可包含各种不同致动器218以用于精细组织操控或治疗，从而进一步增强临床医师模仿实际操作条件的能力。
本文公开的实施例是本公开的实例，并且可以各种形式体现。本文公开的具体结构和功能细节不应解释为限制性的，而是作为权利要求的基础，并且作为教示所属领域的技术人员以实际上任何适当详细的结构使用本公开的代表性基础。类似参考标号可在图的整个描述中指代类似或相同元件。
短语“在实施例中”、“在一些实施例中”或“在其它实施例中”可各自是指根据本公开的相同或不同实施例中的一个或多个。“A或B”形式的短语意指“(A)、(B)或(A和B)”。呈“A、B或C中的至少一个”形式的短语意指“(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)”。临床医师可指执行医疗程序的外科医生或任何医疗专业人员，例如医生、护士、技术员、医疗助理等等。
本文描述的系统还可利用一个或多个控制器来接收各种信息，并且对接收到的信息进行变换以生成输出。控制器可包含任何类型的计算装置、计算电路或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可包含多个处理器和/或多核中央处理单元(CPU)，并且可包含任何类型的处理器，例如微处理器、数字信号处理器、微控制器等等。控制器还可包含用以存储数据和/或算法以执行一系列指令的存储器。
本文描述的任何方法、程序、算法或代码可转换成编程语言或计算机程序，或以编程语言或计算机程序表达。“编程语言”和“计算机程序”包含用于将指令指定给计算机的任何语言，并且包含(但不限于)这些语言和其派生语言：汇编程序、Basic、批处理文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、Pascal、Perl、PL1、脚本处理语言、Visual Basic、自身指定程序的元语言，以及所有第一代、第二代、第三代、第四代和第五代计算机语言。还包含数据库和其它数据模式以及任何其它元语言。不对被解译、编译或使用编译和解译两种方法的语言进行区分。也不对程序的编译版本与源版本进行区分。因此，对其中编程语言可存在于多于一个状态(例如源、编译、对象或链接)的程序的引用是对任何所有此类状态的引用。对程序的引用可涵盖实际指令和/或那些指令的意图。
本文描述的任何方法、程序、算法或代码可包含在一个或多个机器可读介质或存储器上。术语“存储器”可包含以机器可读形式提供(例如，存储和/或传输)信息的机制，所述机器例如处理器、计算机或数字处理装置。例如，存储器可包含只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、快闪存储器装置或任何其它易失性或非易失性存储器存储装置。其上含有的代码或指令可由载波信号、红外信号、数字信号和其它类似信号表示。
应理解，前文描述仅是对本公开的说明。在不脱离本公开的情况下，所属领域的技术人员可设计出各种替代方案和修改。例如，本文所描述的任何增强的图像可组合到将显示给临床医师的单个增强的图像中。因此，本公开旨在包含所有此类替代方案、修改和变化。呈现参考附图所描述的实施例仅为了展示本公开的某些示例。与上文描述和/或所附权利要求中非实质地不同的其它元件、步骤、方法和技术也旨在处于本公开的范围内。

Claims (15)

1.一种用于增强手术图像的系统，所述系统包括：
图像捕捉装置，其被配置成在手术程序期间插入到患者体内并捕捉所述患者体内的图像；
控制器，其被配置成接收所述图像，并将至少一个图像处理滤波器应用于所述图像以生成增强的图像，所述图像处理滤波器包含：
空间分解滤波器，其被配置成将所述图像分解成多个空间频带；
频率滤波器，其被配置成对所述多个空间频带进行滤波以生成多个增强的频带；以及
重组滤波器，其被配置成通过折叠所述多个增强的频带来生成所述增强的图像；以及
显示器，其被配置成在所述手术程序期间将所述增强的图像显示给用户。
2.根据权利要求1所述的系统，其中所述图像捕捉装置捕捉具有多个图像的视频，并且所述控制器将所述至少一个图像处理滤波器应用于所述多个图像中的每个图像。
3.根据权利要求1所述的系统，其中所述频率滤波器是时间滤波器。
4.根据权利要求1所述的系统，其中所述频率滤波器是滤色器。
5.根据权利要求1所述的系统，其中所述频率滤波器的频率由临床医师设置。
6.根据权利要求1所述的系统，其中所述频率滤波器的频率基于阻挡的类型而预设。
7.根据权利要求6所述的系统，其中所述频率滤波器的所述频率能基于阻挡的类型而选择。
8.一种用于在手术程序期间增强图像的方法，所述方法包括：
使用图像捕捉装置捕捉至少一个图像；
对所述至少一个图像进行滤波，其中滤波包含：
分解所述至少一个图像以生成多个空间频带；
将频率滤波器应用于所述多个空间频带以生成多个增强的频带；以及
折叠所述多个增强的频带以生成增强的图像；以及
在显示器上显示所述增强的图像。
9.根据权利要求8所述的方法，还包括：
捕捉具有多个图像的视频；以及
对所述多个图像中的每个图像进行滤波。
10.根据权利要求8所述的方法，其中所述频率滤波器是时间滤波器。
11.根据权利要求8所述的方法，其中所述频率滤波器是滤色器。
12.根据权利要求8所述的方法，其中所述频率滤波器的频率由临床医师设置。
13.根据权利要求8所述的方法，其中将所述频率滤波器应用于所述多个空间频带以生成所述多个增强的频带包含：
将滤色器应用于所述多个空间频带以生成多个部分增强的频带；以及
将时间滤波器应用于所述多个部分增强的频带以生成所述多个增强的频带。
14.根据权利要求13所述的方法，其中将所述滤色器应用于所述多个空间频带以生成所述多个部分增强的频带包含隔离对多个部分增强的频带的一部分的阻挡。
15.根据权利要求14所述的方法，其中将所述时间滤波器应用于所述多个部分增强的频带以生成所述多个增强的频带包含将所述时间滤波器仅应用于包含所述阻挡的多个部分增强的频带的所述部分。
CN201880052747.8A 2017-08-16 2018-08-16 用于增强手术图像和/或视频的系统和方法 Pending CN110996831A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762546169P 2017-08-16 2017-08-16
US62/546,169 2017-08-16
PCT/US2018/000292 WO2019036007A1 (en) 2017-08-16 2018-08-16 SYSTEMS AND METHODS FOR ENHANCING SURGICAL IMAGES AND / OR VIDEOS

Publications (1)

Publication Number Publication Date
CN110996831A true CN110996831A (zh) 2020-04-10

Family

ID=65362606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880052747.8A Pending CN110996831A (zh) 2017-08-16 2018-08-16 用于增强手术图像和/或视频的系统和方法

Country Status (5)

Country Link
US (1) US20200184638A1 (zh)
EP (1) EP3668436A4 (zh)
JP (1) JP2020531095A (zh)
CN (1) CN110996831A (zh)
WO (1) WO2019036007A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
US11423551B1 (en) * 2018-10-17 2022-08-23 Rdi Technologies, Inc. Enhanced presentation methods for visualizing motion of physical structures and machinery
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US10758309B1 (en) 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130176411A1 (en) * 2011-09-20 2013-07-11 Olympus Corporation Image processing apparatus and endoscope system
US9049334B1 (en) * 2011-02-24 2015-06-02 Foveon, Inc. Denoising images with a color matrix pyramid
CN105468033A (zh) * 2015-12-29 2016-04-06 上海大学 一种基于多摄像头机器视觉的医疗吊臂自动避障控制方法
CN106535805A (zh) * 2014-07-25 2017-03-22 柯惠Lp公司 用于机器人手术系统的增强手术现实环境
CN106663318A (zh) * 2014-07-25 2017-05-10 柯惠Lp公司 增强手术现实环境
WO2017079387A1 (en) * 2015-11-05 2017-05-11 Covidien Lp System and method for detecting subsurface blood

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005029409A2 (en) * 2003-09-22 2005-03-31 Koninklijke Philips Electronics N.V. Enhancing medical images with temporal filter
WO2014132741A1 (ja) * 2013-02-27 2014-09-04 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
KR101385743B1 (ko) * 2013-07-08 2014-04-18 주식회사 엠디텍 수술 영상의 실시간 시각적 노이즈 자동 제거 장치, 방법 및 시스템
US9905000B2 (en) * 2015-02-19 2018-02-27 Sony Corporation Method and system for surgical tool localization during anatomical surgery
EP3364851A4 (en) * 2015-10-22 2019-05-15 Covidien LP SYSTEMS AND METHODS FOR AMPLIFYING CHANGES IN A REGION OF INTEREST IN A SURGICAL ENVIRONMENT
US10912449B2 (en) * 2015-10-23 2021-02-09 Covidien Lp Surgical system for detecting gradual changes in perfusion

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9049334B1 (en) * 2011-02-24 2015-06-02 Foveon, Inc. Denoising images with a color matrix pyramid
US20130176411A1 (en) * 2011-09-20 2013-07-11 Olympus Corporation Image processing apparatus and endoscope system
CN106535805A (zh) * 2014-07-25 2017-03-22 柯惠Lp公司 用于机器人手术系统的增强手术现实环境
CN106663318A (zh) * 2014-07-25 2017-05-10 柯惠Lp公司 增强手术现实环境
WO2017079387A1 (en) * 2015-11-05 2017-05-11 Covidien Lp System and method for detecting subsurface blood
CN105468033A (zh) * 2015-12-29 2016-04-06 上海大学 一种基于多摄像头机器视觉的医疗吊臂自动避障控制方法

Also Published As

Publication number Publication date
US20200184638A1 (en) 2020-06-11
EP3668436A4 (en) 2021-05-12
EP3668436A1 (en) 2020-06-24
JP2020531095A (ja) 2020-11-05
WO2019036007A1 (en) 2019-02-21

Similar Documents

Publication Publication Date Title
US20210077220A1 (en) Systems and methods for removing occluding objects in surgical images and/or video
US11080854B2 (en) Augmented surgical reality environment
CN110996831A (zh) 用于增强手术图像和/或视频的系统和方法
US11096749B2 (en) Augmented surgical reality environment for a robotic surgical system
CN108271345B (zh) 用于检测表面下的血液的系统和方法
CN108135456B (zh) 用于放大手术环境中所关注区域中的改变的系统和方法
CN108135670B (zh) 用于检测灌注中逐步变化的手术系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200410

WD01 Invention patent application deemed withdrawn after publication