CN108271345A - 用于检测表面下的血液的系统和方法 - Google Patents

用于检测表面下的血液的系统和方法 Download PDF

Info

Publication number
CN108271345A
CN108271345A CN201680064711.2A CN201680064711A CN108271345A CN 108271345 A CN108271345 A CN 108271345A CN 201680064711 A CN201680064711 A CN 201680064711A CN 108271345 A CN108271345 A CN 108271345A
Authority
CN
China
Prior art keywords
frequency band
color space
image stream
filter
expanding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680064711.2A
Other languages
English (en)
Other versions
CN108271345B (zh
Inventor
德怀特·梅格兰
迈尔·罗森贝格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Priority to CN202110522951.5A priority Critical patent/CN113080813A/zh
Publication of CN108271345A publication Critical patent/CN108271345A/zh
Application granted granted Critical
Publication of CN108271345B publication Critical patent/CN108271345B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6852—Catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A61B5/0086—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14503—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue invasive, e.g. introduced into the body by a catheter or needle or using implanted sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

一种用于在手术程序期间检测关注区域中的表面下的血液的系统包含：捕获所述关注区域的图像流的图像捕获装置，和照射所述关注区域的光源。控制器将至少一个图像处理滤波器应用到所述图像流，所述滤波器将所述图像流分解成多个色彩空间频带，从所述多个色彩空间频带生成多个经滤色频带，将所述多个色彩空间频带中的每一频带加到所述多个经滤色频带中的对应频带以生成多个经扩增频带，以及从所述多个经扩增频带生成所述经扩增图像流的重建滤波器，在所述手术程序期间将所述经扩增图像流显示给用户。

Description

用于检测表面下的血液的系统和方法
相关申请的交叉引用
本申请主张2015年11月5日提交的第62/251,203号美国临时专利申请的权益和优先权，所述专利申请的全部公开内容以引用的方式并入本文中。
背景技术
微创手术涉及使用多个小切口而非一个较大开口或切口来执行手术程序。小切口减少了患者的不适且改进了恢复时间。小切口也限制了内脏、组织和其它物质的可见度。
已使用内窥镜并将其插入一个或多个切口中，以使临床医生能在手术期间更容易地看到体内的内脏、组织和其它物质。这些内窥镜包含联接到显示器的相机，所述显示器示出如由相机所捕获的体内的器官、组织和物质的视图。在知道组织是否被灌注很重要的程序的部分期间，将例如荧光染料(例如，靛氰绿)的标记物注入到血流中，且接着用强激光照射关注区域，以使得在相机中可见表面下的血液的相对存在。然而，使用标记物需要使用特殊类型的相机以查看表面下的血液。此外，必须在外部放置激光源，以减轻所生成且接着经由光纤输送到手术部位的热量。
需要能在无需特殊相机或强激光的情况下为临床医生提供表面下的血液的视图的系统。
发明内容
本公开涉及微创手术，且更特定来说涉及准许临床医生在不使用标记物或强激光的情况下查看表面下的血液的图像处理技术。
在本公开的一方面中，提供一种用于在手术程序期间检测关注区域中的表面下的血液的系统。所述系统包含被配置成插入到患者体中，并在手术程序期间捕获患者体内的关注区域的图像流的图像捕获装置，和被配置成照射关注区域的光源。控制器接收图像流，并将至少一个图像处理滤波器应用到图像流以生成经扩增图像流。图像处理滤波器包含：被配置成将图像分解成多个色彩空间频带的色彩空间分解滤波器，经配置成应用到多个色彩空间频带以生成多个经滤色频带的滤色器，被配置成将多个色彩空间频带中的每一频带加到多个经滤色频带中的对应频带以生成多个经扩增频带的加法器，以及被配置成通过折叠多个经扩增频带生成经扩增图像流的重建滤波器。所述系统还包含被配置成在手术程序期间将经扩增图像流显示给用户的显示器。
在一些实施例中，图像流包含多个图像帧，且控制器将至少一个图像处理滤波器应用到图像流的每一图像帧。
在实施例中，滤色器包含带通滤波器，其中带通滤波器的带通频率对应于关注色彩，例如用于动脉血的偏向红色的色彩和用于静脉血的蓝红色。滤色器将至少一个色彩空间频带与多个色彩空间频带隔离，以生成多个经滤色频带。在将多个色彩空间频带中的每一频带加到多个经滤色频带中的对应频带，以生成多个经扩增频带之前，由放大器放大多个经滤色频带。
在一些实施例中，光源发射波长在约600与750nm之间的光。在其它实施例中，光源发射波长在约850与1000nm之间的光。在其它实施例中，光源发射可见光。在又其它实施例中，光源依序发射具有第一波长和第二波长的光，其中第一波长范围在600与750nm之间且第二波长范围在850与1000nm之间。
在本公开的另一方面中，提供一种用于在手术程序期间检测关注区域中的表面下的血液的方法。所述方法包含用光源照射关注区域并使用图像捕获装置捕获关注区域的图像流。所述方法还包含：分解图像流以生成多个色彩空间频带，将滤色器应用到多个色彩空间频带以生成多个经滤色频带，将多个色彩空间频带中的每一频带加到多个经滤色频带中的对应频带以生成多个经扩增频带，以及折叠多个经扩增频带以生成经扩增图像流。在显示器上显示经扩增图像流。
在实施例中，滤色器包含带通滤波器，其中带通滤波器的带通频率被设置成对应于关注色彩的频率，所述关注色彩例如用于动脉血的偏向红色的色彩和用于静脉血的蓝红色。在实施例中，将至少一个色彩空间频带与多个色彩空间频带隔离，以生成多个经滤色频带。在将多个色彩空间频带中的每一频带加到多个经滤色频带中的对应频带，以生成多个经扩增频带之前，由放大器放大多个经滤色频带。
在一些实施例中，光源发射波长在约600与750nm之间的光。在其它实施例中，光源发射波长在约850与1000nm之间的光。在其它实施例中，光源发射可见光。在又其它实施例中，光源依序发射具有第一波长和第二波长的光，其中第一波长范围在600与750nm之间且第二波长范围在850与1000nm之间。
附图说明
根据以下结合附图进行的详细描述，本公开的上述和其它方面、特征和优点将变得更加显而易见，在附图中：
图1是根据本公开的实施例的用于扩增手术部位的图像流的系统的框图；
图2是图1的控制器的系统框图；
图3是根据本公开的另一实施例的用于扩增图像流的系统的框图；以及
图4是根据本公开的实施例的机器人手术系统的系统框图。
具体实施方式
可以分析手术程序期间从内窥镜捕获的图像数据，以检测内窥镜的视野内的色彩改变。可以对此图像数据应用各种图像处理技术，以识别并放大色彩改变的原因。举例来说，欧拉(Eulerian)图像放大技术可以用于识别捕获图像的不同部分中的光的波长或“色彩”改变。
欧拉图像放大技术可以包含为成像系统的部分。这些技术可以使成像系统能够提供内窥镜的视野内的特定位置的经扩增图像。
这些技术中的一个或多个可以包含为手术机器人系统中的成像系统的部分，以为临床医生提供内窥镜的视野内的额外信息。这样可以使临床医生在手术期间能够快速地识别、避免和/或纠正不当情况和状况。
本公开涉及用于在手术程序期间将经扩增图像实时地提供到临床医生的系统和方法。本文中所描述的系统和方法对所捕获的图像流应用图像处理滤波器，以识别表面下的血液。实时或近实时地处理所捕获的图像流，且接着将其作为经扩增图像流显示给临床医生。将图像处理滤波器应用到所捕获的图像流的每一帧。将经扩增图像或图像流提供给临床医生能为临床医生提供表面下的血液的位置。
转向图1，根据本公开的实施例的用于扩增手术环境的图像和/或视频的系统大体上示出为100。系统100包含控制器102，所述控制器具有处理器104和存储器106。系统100还包含记录图像流的图像捕获装置108，例如相机。图像捕获装置108可以并入到内窥镜、立体内窥镜或任何其它用于微创手术的手术工具中。
系统100还包含光源109。例如发光二极管(LED)或任何其它能够发光的装置的光源109可以并入到图像捕获装置108中，或可以提供为用以照射手术部位的单独装置。在一些实施例中，光源109可以安置在患者和光学地运输到手术部位的光纤外部。光源109被配置成发射不同波长的光。举例来说，光源109依序发射具有两个不同波长的光，其中第一波长范围在约850与1000nm之间且第二波长范围在约600与750nm之间。因此，在临床医生想要看到表面下的动脉血时，动脉血往往会更多地吸收波长范围在约850与1000nm之间的光，而波长范围在约600与750nm之间的光往往会被动脉血反射离开。替代地，在临床医生想要看到表面下的静脉血时，静脉血往往会更多地吸收波长范围在约600与750nm之间的光，而波长范围在约850与1000nm之间的光往往会被静脉血反射离开。光源109可以由光源109、图像捕获装置108或控制器102上的合适输入进行控制。
显示器110在手术程序期间将经扩增图像显示给临床医生。显示器110可以是监视器、投影仪或临床医生佩戴的一副眼镜。在一些实施例中，控制器102可以经由无线或有线连接与中央服务器(未示出)通信。中央服务器可以存储患者或多个患者的图像，可以使用x射线、计算机断层扫描或磁共振成像等来获得所述图像。
图2描绘控制器102的系统框图。如图2中所示出，控制器102包含被配置成从图像捕获装置108接收静态帧图像或视频的收发器112。在一些实施例中，收发器112可以包含用以经由无线通信协议接收静态帧图像、视频或数据的天线。静态帧图像、视频或数据被提供到处理器104。处理器104包含图像处理滤波器114，其处理所接收图像流或数据以生成和/或显示经扩增图像或图像流。可以使用离散组件、软件或其组合来实施图像处理滤波器114。经扩增图像或图像流被提供到显示器110。
如上文所描述，相对于静脉血，动脉血优先吸收波长在约850与1000nm之间的光，且相对于动脉血，静脉血优先吸收波长在约600与750nm之间的光。因此，当临床医生想要看到特定类型的血液，例如动脉或静脉血时，临床医生控制光源109以发射特定波长。也可以依序发射两种光波长，以提供将增强对两种血液类型的存在测量的灵敏性的差分读数。图像捕获装置108捕获由选定波长照射的手术部位的视频，并将视频提供到收发器112。在所述视频中，动脉血和/或静脉血将显现为期望强调其存在的任何色彩(例如，动脉血和静脉血分别为夸张的红色或蓝色)。
转向图3，可以应用到收发器112所接收的视频的图像处理滤波器的系统框图示出为114A。在图像处理滤波器114A中，使用色彩空间分解滤波器116将所接收视频的每一帧分解成不同色彩空间频带S1到SN。色彩空间分解滤波器116使用被称为金字塔的图像处理技术，在所述技术中图像经受重复平滑化和次取样。
在帧经受色彩空间分解滤波器116之后，将滤色器118应用到所有色彩空间频带S1到SN以生成经滤色频带C1到CN。滤色器118是用于提取一个或多个所要频带的带通滤波器。使用用户接口(未示出)将滤色器118的带通频率设置成对应于如下色彩的频率范围，所述色彩例如分别用于动脉血和静脉血的夸张红色或蓝色。通过将频率范围设置成血管类型的大体上夸张的典型色彩，滤色器118能够放大对应于临床医生想要看到的血液类型的明显可见色彩空间频带，这是因为所述血液类型将在所捕获的图像和/或视频中显现为所要色彩。换句话说，带通滤波器被设置成可接受容限内包含所述色彩的较窄范围，且被应用到所有色彩空间频带S1到SN。仅对应于带通滤波器的设置范围的色彩空间频带将被隔离或穿过。由对于每一频带可能具有独特增益“α”的放大器个别地放大所有经滤色频带C1到CN。因为滤色器118隔离或穿过所要色彩空间频带，所以仅放大所要色彩空间频带。接着将经放大滤色频带C1到CN加到原始色彩空间频带S1到SN，以生成经扩增频带S'1到S'N。接着通过使用重建滤波器120折叠经扩增频带S'1到S'N来重建视频的每一帧，以生成经扩增帧。合并所有经扩增帧以产生经扩增图像流。示出给临床医生的经扩增图像流包含被放大的部分，即对应于所要色彩空间频带的部分，以使临床医生能够容易地识别此部分。
在一些实施例中，可以由时间滤波器122滤波经扩增图像流。时间滤波器122基于患者的脉冲，生成基线时变信号。所述脉冲可以由临床医生输入，由常规构件测量或从图像流确定。时间滤波器122接着对基线时变信号取平均值，并从经扩增图像流移除平均信号，以生成经时间滤波经扩增图像流。在经时间滤波经扩增图像流中，仅可见血流中的独特改变，从而因此准许外科医生实时地查看情况，例如使用钳状末端执行器从夹持组织上方停止血流。
上文所描述的实施例还可以被配置成与通常称为“遥控手术”的机器人手术系统一起操作。此类系统利用各种机器人元件以在手术室中辅助临床医生，且允许对手术器械进行远程操作(或部分远程操作)。出于此目的，可以利用各种机器人臂、齿轮、凸轮、滑轮、电动机和机械电机等，且可以将其设计成具有机器人手术系统以在操作或治疗过程期间辅助临床医生。此类机器人系统可以包含远程可导向系统、自动柔性手术系统、远程柔性手术系统、远程铰接手术系统、无线手术系统、模块化或选择性可配置远程操作手术系统等。
如图4中所示出，机器人手术系统200可以与相邻手术室或位于远程位置的一个或多个控制台202一起利用。在此实例中，一支临床医生或护士团队可以使患者准备好进行手术，并配置具有一个或多个器械204的机器人手术系统200，而另一临床医生(或一组临床医生)经由机器人手术系统远程控制器械。如可以了解，高度熟练的临床医生可以在不离开其远程控制台的情况下在多个位置执行多个操作，这在经济上可以是有利的，且对于患者或一系列患者来说也是有益的。
手术系统200的机器人臂206通常通过控制器210联接到一对主手柄208。控制器210可以与控制台202一起集成，或提供为手术室内的独立装置。手柄206可以由临床医生移动，以产生附接到机器人臂206的任何类型的手术器械204(例如，探针、末端执行器、抓钳、刀片、剪刀等)的工作端部的对应移动。举例来说，手术器械204可以是包含图像捕获装置的探针。探针插入到患者体中，以便在手术程序期间捕获患者体内的关注区域的图像。在将图像在显示器110上显示给临床医生之前，可以将上文所描述的图像处理滤波器114应用到由控制器210所捕获的图像。
可以缩放主手柄208的移动，从而使得工作端部的对应移动不同于(小于或大于)由临床医生的操作手执行的移动。可以调整标度因子或齿轮比率(gearing ratio)，从而使得操作者可以控制手术器械204的工作端部的分辨率。
在手术系统200的操作期间，由临床医生操作主手柄208，以产生机器人臂206和/或手术器械204的对应移动。主手柄208将信号提供到控制器210，所述控制器接着将对应信号提供到一个或多个驱动电机214。一个或多个驱动电机214联接到机器人臂206，以便移动机器人臂206和/或手术器械204。
主手柄208可以包含各种触觉件216，所述触觉件用以将与各种组织参数或状况(例如，归因于操纵的组织抗性、切割或以其它方式治疗、器械在组织上的压力、组织温度、组织阻抗等)相关的反馈提供给临床医生。如可以了解，此类触觉件216向临床医生提供模拟实际操作状况的增强触觉反馈。触觉件216可以包含振动电机、电活性聚合物、压电装置、静电装置、次声波音频波表面致动装置、反向电振动或能够将触觉反馈提供给用户的任何其它装置。主手柄208还可以包含多种不同致动器218，其用于精细组织操纵或治疗，从而进一步增强临床医生模仿实际操作状况的能力。
本文中所公开的实施例是本公开的实例，且可以各种形式体现。本文中所公开的特定结构和功能细节不应被解释为限制性的，而是应被解释为权利要求书的基础，和用于教示所属领域的技术人员以实际上任何适当详细结构不同地利用本公开的代表性基础。类似参考数字可以贯穿图式的描述指代类似或相同元件。
短语“在实施例中”、“在一些实施例中”或“在其它实施例中”可以各自指代根据本公开的相同或不同实施例中的一个或多个。呈“A或B”形式的短语意味着“(A)、(B)或(A和B)”。呈“A、B或C中的至少一个”形式的短语意味着“(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)”。临床医生可以指执行医疗程序的外科医生或任何医疗专业人员，例如医生、护士、技术员、医疗助理等。
本文中所描述的系统还可以利用一个或多个控制器来接收各种信息，并转化所接收信息以生成输出。控制器可以包含任何类型的计算装置、计算电路，或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可以包含多个处理器和/或多核中央处理单元(CPU)，且可以包含任何类型的处理器，例如微处理器、数字信号处理器、微控制器等。控制器还可以包含用以存储数据和/或算法以执行一系列指令的存储器。
本文中所描述的方法、程序、算法或代码中的任一种可以被转换成编程语言或计算机程序或以编程语言或计算机程序表达。“编程语言”和“计算机程序”包含用于将指令指定给计算机的任何语言，且包含(但不限于)这些语言和其派生语言：汇编程序、Basic、批处理文件、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、帕斯卡、Perl、PL1、脚本语言、Visual Basic、自身指定程序的元语言，以及所有第一代、第二代、第三代、第四代和第五代计算机语言。还包含数据库和其它数据模式，以及任何其它元语言。不对被解译、编译或使用经编译和解译方法两者的语言进行区分。也不对程序的编译版本与源版本进行区分。因此，提及编程语言可以多于一种状态存在(例如，源、经编译、对象或经链接)的程序是对任何和所有此类状态的提及。对程序的提及可以涵盖实际指令和/或那些指令的意图。
本文中所描述的方法、程序、算法或代码中的任一种可以包含在一个或多个机器可读媒体或存储器上。术语“存储器”可以包含以可由例如处理器、计算机或数字处理装置的机器读取的形式提供(例如，存储和/或传输)信息的机构。举例来说，存储器可以包含只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、闪存装置，或任何其它易失性或非易失性存储器存储装置。包含在其上的代码或指令可以由载波信号、红外信号、数字信号和其它类似信号表示。
应理解，前述描述仅说明本公开。所属领域的技术人员在不脱离本公开的情况下可以设计各种替代和修改。举例来说，本文中所描述的经扩增图像中的任一个可以合并成待显示给临床医生的单个经扩增图像。因此，本公开意图涵盖所有此类替代、修改和变化。呈现参考所附图式所描述的实施例仅为了展现本公开的某些实例。与上文和/或所附权利要求书中所描述的元件、步骤、方法和技术无实质不同的其它元件、步骤、方法和技术也意图在本公开的范围内。

Claims (17)

1.一种用于在手术程序期间检测关注区域中的表面下的血液的系统，所述系统包括：
图像捕获装置，被配置成插入到患者体中，并在所述手术程序期间捕获所述患者体内的所述关注区域的图像流；
光源，被配置成照射所述关注区域；
控制器，被配置成接收所述图像流，并将至少一个图像处理滤波器应用到所述图像以生成经扩增图像流，所述图像处理滤波器包含：
色彩空间分解滤波器，被配置成将所述图像分解成多个色彩空间频带；
滤色器，被配置成应用到所述多个色彩空间频带以生成多个经滤色频带；
加法器，被配置成将所述多个色彩空间频带中的每一频带加到所述多个经滤色频带中的对应频带，以生成多个经扩增频带；以及
重建滤波器，被配置成通过折叠所述多个经扩增频带生成所述经扩增图像流；以及
显示器，被配置成在所述手术程序期间将所述经扩增图像流显示给用户。
2.根据权利要求1所述的系统，其中所述图像流包含多个图像帧，且所述控制器将所述至少一个图像处理滤波器应用到所述多个图像帧的每一图像帧。
3.根据权利要求1所述的系统，其中所述滤色器包含带通滤波器。
4.根据权利要求3所述的系统，其中所述带通滤波器的带通频率对应于指定色彩。
5.根据权利要求1所述的系统，其中所述滤色器将至少一个色彩空间频带与所述多个色彩空间频带隔离，以生成所述多个经滤色频带。
6.根据权利要求1所述的系统，其中在将所述多个色彩空间频带中的每一频带加到所述多个经滤色频带中的所述对应频带，以生成所述多个经扩增频带之前，由放大器放大所述多个经滤色频带。
7.根据权利要求1所述的系统，其中所述光源发射波长在约600与750nm之间的光。
8.根据权利要求1所述的系统，其中所述光源发射波长在约850与1000nm之间的光。
9.根据权利要求1所述的系统，其中所述光源依序发射具有第一波长和第二波长的光，其中所述第一波长范围在600与750nm之间且所述第二波长范围在850与1000nm之间。
10.一种用于在手术程序期间检测关注区域中的表面下的血液的方法，所述方法包括：
用光源照射所述关注区域；
图像捕获装置捕获所述关注区域的图像流；
分解所述图像流以生成多个色彩空间频带；
将滤色器应用到所述多个色彩空间频带，以生成多个经滤色频带；
将所述多个色彩空间频带中的每一频带加到所述多个经滤色频带中的对应频带，以生成多个经扩增频带；以及
折叠所述多个经扩增频带以生成经扩增图像流；以及
在显示器上显示所述经扩增图像流。
11.根据权利要求9所述的方法，其中所述滤色器包含带通滤波器。
12.根据权利要求11所述的方法，进一步包括设置所述带通滤波器的带通频率，其中所述带通频率对应于指定色彩。
13.根据权利要求10所述的方法，其中应用所述滤色器包含将至少一个色彩空间频带与所述多个色彩空间频带隔离，以生成所述多个经滤色频带。
14.根据权利要求10所述的方法，进一步包括在将所述多个色彩空间频带中的每一频带加到所述多个经滤色频带中的所述对应频带，以生成所述多个经扩增频带之前，由放大器放大所述多个经滤色频带。
15.根据权利要求10所述的方法，其中照射所述关注区域包含发射波长在约600与750nm之间的光。
16.根据权利要求10所述的方法，其中照射所述关注区域包含发射波长在约850与1000nm之间的光。
17.根据权利要求10所述的方法，其中照射所述关注区域包含依序发射具有第一波长和第二波长的光，其中所述第一波长范围在600与750nm之间且所述第二波长范围在850与1000nm之间。
CN201680064711.2A 2015-11-05 2016-11-03 用于检测表面下的血液的系统和方法 Expired - Fee Related CN108271345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110522951.5A CN113080813A (zh) 2015-11-05 2016-11-03 用于检测表面下的血液的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562251203P 2015-11-05 2015-11-05
US62/251,203 2015-11-05
PCT/US2016/060248 WO2017079387A1 (en) 2015-11-05 2016-11-03 System and method for detecting subsurface blood

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110522951.5A Division CN113080813A (zh) 2015-11-05 2016-11-03 用于检测表面下的血液的系统和方法

Publications (2)

Publication Number Publication Date
CN108271345A true CN108271345A (zh) 2018-07-10
CN108271345B CN108271345B (zh) 2021-05-28

Family

ID=58662685

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680064711.2A Expired - Fee Related CN108271345B (zh) 2015-11-05 2016-11-03 用于检测表面下的血液的系统和方法
CN202110522951.5A Pending CN113080813A (zh) 2015-11-05 2016-11-03 用于检测表面下的血液的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110522951.5A Pending CN113080813A (zh) 2015-11-05 2016-11-03 用于检测表面下的血液的系统和方法

Country Status (5)

Country Link
US (1) US20180310875A1 (zh)
EP (1) EP3370603A4 (zh)
JP (1) JP2019502419A (zh)
CN (2) CN108271345B (zh)
WO (1) WO2017079387A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
CN110870021A (zh) * 2017-05-15 2020-03-06 史密夫及内修公开有限公司 使用欧拉视频放大的负压伤口治疗系统
US20200184638A1 (en) * 2017-08-16 2020-06-11 Covidien Lp Systems and methods for enhancing surgical images and/or video
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US10758309B1 (en) 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101176116A (zh) * 2005-05-13 2008-05-07 三路影像公司 基于色原分离的图像分析方法
US20120071765A1 (en) * 2010-09-17 2012-03-22 Optimum Technologies, Inc. Digital Mapping System and Method
US20130322729A1 (en) * 2012-05-30 2013-12-05 Xerox Corporation Processing a video for vascular pattern detection and cardiac function analysis
WO2014001980A1 (en) * 2012-06-28 2014-01-03 Koninklijke Philips N.V. Enhanced visualization of blood vessels using a robotically steered endoscope
US20140072190A1 (en) * 2012-09-07 2014-03-13 Massachusetts Institute Of Technology Linear-Based Eulerian Motion Modulation
CN104915920A (zh) * 2014-03-12 2015-09-16 索尼公司 图像处理设备、图像处理方法、程序和内窥镜设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011062261A (ja) * 2009-09-15 2011-03-31 Hoya Corp エンハンス画像処理装置、及び医療用観察システム
US9211058B2 (en) * 2010-07-02 2015-12-15 Intuitive Surgical Operations, Inc. Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
JP5274591B2 (ja) * 2011-01-27 2013-08-28 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5554253B2 (ja) * 2011-01-27 2014-07-23 富士フイルム株式会社 電子内視鏡システム
JP5667917B2 (ja) * 2011-04-01 2015-02-12 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
EP2687145B1 (en) * 2011-09-20 2016-06-01 Olympus Corporation Image processing equipment and endoscopic system
JP5757891B2 (ja) * 2012-01-23 2015-08-05 富士フイルム株式会社 電子内視鏡システム、画像処理装置、画像処理装置の作動方法及び画像処理プログラム
EP3364851A4 (en) * 2015-10-22 2019-05-15 Covidien LP SYSTEMS AND METHODS FOR AMPLIFYING CHANGES IN A REGION OF INTEREST IN A SURGICAL ENVIRONMENT

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101176116A (zh) * 2005-05-13 2008-05-07 三路影像公司 基于色原分离的图像分析方法
US20120071765A1 (en) * 2010-09-17 2012-03-22 Optimum Technologies, Inc. Digital Mapping System and Method
US20130322729A1 (en) * 2012-05-30 2013-12-05 Xerox Corporation Processing a video for vascular pattern detection and cardiac function analysis
WO2014001980A1 (en) * 2012-06-28 2014-01-03 Koninklijke Philips N.V. Enhanced visualization of blood vessels using a robotically steered endoscope
US20140072190A1 (en) * 2012-09-07 2014-03-13 Massachusetts Institute Of Technology Linear-Based Eulerian Motion Modulation
CN104915920A (zh) * 2014-03-12 2015-09-16 索尼公司 图像处理设备、图像处理方法、程序和内窥镜设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A. JONATHAN MCLEOD ET AL.: "Motion Magnification for Endoscopic Surgery", 《PROGRESS IN BIOMEDICAL OPTICS AND IMAGING, SPIE INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING》 *

Also Published As

Publication number Publication date
JP2019502419A (ja) 2019-01-31
US20180310875A1 (en) 2018-11-01
EP3370603A4 (en) 2019-06-12
CN108271345B (zh) 2021-05-28
WO2017079387A1 (en) 2017-05-11
CN113080813A (zh) 2021-07-09
EP3370603A1 (en) 2018-09-12

Similar Documents

Publication Publication Date Title
CN108271345A (zh) 用于检测表面下的血液的系统和方法
US11517183B2 (en) Surgical system for detecting gradual changes in perfusion
US11080854B2 (en) Augmented surgical reality environment
US11666397B2 (en) Systems and methods for robotic medical system integration with external imaging
CN106535805B (zh) 用于机器人手术系统的增强手术现实环境
CN103327875B (zh) 用于光学相干断层成像、照射或光凝固术的组合外科内探测器
CN108135456A (zh) 用于放大手术环境中所关注区域中的改变的系统和方法
JP2023544593A (ja) 協働的外科用ディスプレイ
US20090088772A1 (en) Fiber optic in-situ chemical analysis in a robotic surgical system
KR20220065894A (ko) 수술중 세그먼트화를 위한 시스템 및 방법
CN108778180A (zh) 用于移除手术图像和/或视频中的遮挡对象的系统和方法
JP2023544358A (ja) 外科用可視化及び粒子傾向分析システム
JP2020531095A (ja) 外科手術画像および／または映像を強調するためのシステムおよび方法
KR20130127482A (ko) 공통의 광원을 이용하는 광 간섭 단층촬영 및 조명
US20220117693A1 (en) Instrument for optical tissue interrogation
EP4166071A2 (en) Tissue detection systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210528

Termination date: 20211103

CF01 Termination of patent right due to non-payment of annual fee