CN104427926B - 使用内窥镜图像上的光体积描记对通畅性的评估 - Google Patents

使用内窥镜图像上的光体积描记对通畅性的评估 Download PDF

Info

Publication number
CN104427926B
CN104427926B CN201380034131.5A CN201380034131A CN104427926B CN 104427926 B CN104427926 B CN 104427926B CN 201380034131 A CN201380034131 A CN 201380034131A CN 104427926 B CN104427926 B CN 104427926B
Authority
CN
China
Prior art keywords
ppg
image
blood vessel
optical sensor
figures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380034131.5A
Other languages
English (en)
Other versions
CN104427926A (zh
Inventor
H·埃尔哈瓦林
A·波波维奇
W·韦尔克鲁杰塞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN104427926A publication Critical patent/CN104427926A/zh
Application granted granted Critical
Publication of CN104427926B publication Critical patent/CN104427926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0295—Measuring blood flow using plethysmography, i.e. measuring the variations in the volume of a body part as modified by the circulation of blood therethrough, e.g. impedance plethysmography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4851—Prosthesis assessment or monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7285—Specific aspects of physiological measurement analysis for synchronising or triggering a physiological measurement or image acquisition with a physiological event or waveform, e.g. an ECG signal

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Hematology (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Robotics (AREA)
  • Transplantation (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Vascular Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一种用于评估通畅性的系统，所述系统包括：光传感器(128)，其能相对于血管定位，以接收来自所述血管的光并且将所述光转换成图像信号；光体积描记(PPG)解读模块(115)，其被配置为接收所述图像信号，并且输出图像中表示PPG信息的像素值；图像生成模块(148)，其被耦合到所述PPG解读模块，以接收所述像素值并且生成PPG图，所述PPG图要被输出到显示器以用于分析。

Description

使用内窥镜图像上的光体积描记对通畅性的评估
技术领域
本公开涉及医疗器械和流程，并且更具体地涉及使用光体积描记(PPG)信息来监测组织中的流体流动。
背景技术
在心脏搭桥外科手术期间，外科医生使用来自身体的一根或多根血管来为冠状动脉变窄的动脉粥样硬化患者进行搭桥。执行该操作的意图是增大冠状动脉中的血流量，所述冠状动脉为心脏的心肌组织供血。在微创(MI)心脏搭桥外科手术期间，细长的器械被插入到患者的胸部中的小切口中，并且内窥镜提供可视化。在机器人引导的MI心脏搭桥外科手术中，器械中的一个或多个(或内窥镜)由机器人设备控制。能够在患者使用心肺转流术并且心脏处于心脏停搏的情况下，或者在心脏跳动的情况下执行心脏搭桥外科手术。
术中使用X射线血管造影或超声，或者术后使用体积成像(计算机断层摄影(CT)、磁共振成像(MRI))来证实在搭桥之后的移植物通畅性。两种术中技术均证实在移植物中和在移植物下游的冠状动脉中的流动。然而，对动脉的成功的血管重建可能不一定造成心肌的成功灌注，这是由于较小血管中的流动(其在常规成像中不可见)也可能够被阻塞。额外地，这些成像模态常常是外科医生不能获得的。
发明内容
根据本发明的示范性实施例，描述了一种用于评估通畅性的系统，所述系统包括：光传感器，其能相对于血管定位，以接收来自所述血管的光并且将所述光转换成图像信号；光体积描记(PPG)解读模块，其被配置为接收图像信号并且输出图像中表示PPG信息的像素值；图像生成模块，其被耦合到所述PPG解读模块，以接收所述像素值并且生成PPG图，所述PPG图要被输出到显示器以用于分析。
例如，光传感器能够包括照相机，所述照相机被安装在内窥镜上和/或在开放切口之上，以允许光从血管到达照相机。能够使用机器人来定位能相对于血管定位的光传感器。所述光传感器能够在第一时间相对于血管定位，并且在第二时间被定位在相同的位置，使得能够比较PPG信号以确定血管中的PPG变化。所述系统还能够包括机器人，所述机器人被配置为允许在不同的时间对光传感器进行可重复定位。图像生成模块能够生成在不同的时间的PPG信号的减影图像也是可能的。所述减影图像能够被叠加在由光传感器收集的图像上。PPG图能够被叠加在由光传感器收集的诸如X射线图像的图像上也是可能的。而且，血管能够包括搭桥移植物，并且PPG图能够指示在不同的时间通过移植物的血流量。
根据本发明的另一示范性实施例，描述了一种用于评估通畅性的系统，所述系统包括：包括照相机的内窥镜，所述内窥镜能相对于血管定位在身体内部，以接收来自所述血管的光并且将所述光转换成图像信号；光体积描记(PPG)解读模块，其能够被配置为接收所述图像信号，从所述图像信号译解PPG信息，并且输出图像中表示PPG信息的像素值；图像生成模块，其能够被耦合到所述PPG解读模块，以接收所述像素值并且生成对应于多个时间的PPG图；使得所述PPG图的差异表示通过所述血管的血流量的差异。
例如，血管能够包括搭桥移植物，并且内窥镜能够在血管重建之前和之后定位在相同的位置，以允许使用PPG图对血流量进行比较。所述系统还能够包括被配置为允许在不同的时间对内窥镜进行可重复定位的机器人。图像生成模块能够生成在不同的时间的PPG信息的减影图像也是可能的。所述减影图像能够被叠加在由照相机收集的图像上。PPG图能够被叠加在由照相机收集的诸如X射线图像的图像上。而且，血管能够包括搭桥移植物，并且PPG图能够指示在不同的时间通过移植物的血流量。
根据本发明的又另一示范性实施例，描述了一种用于评估通畅性的方法，所述方法包括：将光传感器相对于血管定位，以接收来自所述血管的光；将所述光转换成图像信号；解读所述图像信号，以确定光体积描记(PPG)信号并且输出图像中表示PPG信号的像素值；生成PPG图，所述PPG图要被输出到显示器以用于根据所述像素值进行分析；以及分析至少一个PPG图，以确定所述血管的通畅性。
例如，所述光传感器能够包括被安装在内窥镜上和/或在开放切口之上的照相机。定位光传感器能够包括在不同的时间将光传感器定位在相同的位置处，使得能够比较PPG信号以确定血管中的PPG变化。定位光传感器能够包括采用机器人以允许在不同的时间对光传感器进行可重复定位也是可能的。所述方法还能够包括根据在不同的时间的PPG图生成减影图像。由光传感器。血管包括搭桥移植物并且PPG图指示在不同的时间通过移植物的血流量也是可能的。所述方法还能够包括考虑血管中的运动以配准PPG图。所述考虑能够包括例如提供被叠加在血管的图像信号上的网格，在所述网格处，所述网格的每个部分均包括要跟随的跟踪点，以确定血管的运动。所述考虑包括提供心电图(ECG)信号，并且在沿着ECG图表的对应位置处触发PPG测量，以考虑血管的运动也是可能的。
附图说明
根据以下对其示例性实施例的详细描述，本公开的这些和其他目标、特征以及优点将变得明显，所述详细描述要联系附图进行阅读。
本公开将参考以下附图详细呈现对优选实施例的以下描述，在所述附图中：
图1是根据一个实施例的示出用于确定针对组织通畅性的光体积描记(PPG)信号的系统的方框/流程图；
图2是根据另一实施例的示出用于使用机器人引导的内窥镜来确定针对血管通畅性的PPG信号的另一系统设置的图表；
图3是根据另一实施例的示出心脏的内窥镜图像，在所述内窥镜图像上叠加有PPG的减影图像；
图4是根据另一实施例的示出心脏的内窥镜图像，在所述内窥镜图像上叠加有网格图像以评估点移动；
图5是根据另一实施例的示出用于测量PPG信号的触发点的心电图(ECG)；
图6是根据另一实施例的示出心脏的X射线图像(血管造影图)，在所述X射线图像上叠加有PPG图像/PPG图；并且
图7是根据示例性实施例的用于通畅性评估的方法的流程图。
具体实施方式
根据本发明的原理，提供使用从组织发射或反射的光来确定感兴趣区域中的流体流动的系统和方法。在一个实施例中，采用光体积描记(PPG)来评估组织中的血流量。PPG使用光反射或透射来检测经过身体的心血管脉搏波。PPG基于以下原理，即：血液比周围组织吸收更多的光，因此血容量的变化相应地影响透射或反射。PPG信号可以用于仅使用CCD照相机和环境光照明来检测呼吸率和心率。本文中描述的系统和方法可以从基于CCD照相机的图像上的感兴趣区域提取例如绿色和蓝色像素强度，并且然后测量它们随时间推移的变化。也可以提取并监测其他信息。较高幅度的信号对应于较高的反射率以及因此在被成像的像素的位置处的较小的血容量。能够通过标绘在每个像素处的PPG信号来生成PPG图。PPG的使用使得能够从视频提取关于心率和呼吸率的信息。在心跳循环期间的不同相位处，PPG图上的信号或像素的强度与血容量成比例。
PPG可以用于使用常规的基于CCD的照相机以完全无创且廉价的方式从对象提取生命体征。能够利用该技术(PPG)测量的生命体征包括心率、心率变化性、呼吸率、动脉血氧饱和度(SpO2)。PPG也可以提供有价值的生理信息，例如，能够提供体积描记波形的形状和PPG信号(在解剖结构位置之上)的空间分布(即，PPG成像)。可以从所述波形提取诸如脱水的生理信息，所述生理信息在外科手术期间改变PPG信号上的呼吸深度的调制。
在一个实施例中，本原理提供一种量度和一种可视化方法，所述量度用于使用心脏的内窥镜图像和PPG来对搭桥流程的成功的证实，能够使用PPG信号来在所述心脏的内窥镜图像和所述PPG中直接比较在已经执行搭桥之前与之后的血流量和血容量；所述可视化方法用于外科医生评估心肌组织和血管中的血容量。在处理内窥镜图像之后，搭桥之前与之后的PPG图变化能够示出增大的血容量，所述增大的血容量指示成功的血管重建。本原理可以用于使用PPG信号来核查移植物通畅性，例如在不停跳的心脏外科手术的情况下使用特征跟踪。在使用利用ECG信号进行门控的不停跳的心脏外科手术的情况下，也可以采用使用PPG信号来核查移植物通畅性的方法。在另一实施例中，公开了一种为了全面证实框架而组合PPG图像与X射线图像的方法。
应当理解，本发明将从医疗器械与流程方面进行描述；然而，本发明的教导宽泛得多，并且可应用于在其中能够使用从表面收集的光来进行流量测量的任何结构或系统。在一些实施例中，本原理用于跟踪或分析复杂的生物或机械系统。特别地，本原理可应用于对生物系统的内部跟踪流程、在身体的所有区(例如肺、胃肠道、排泄器官、血管等)中的流程。附图中描绘的元件可以在硬件与软件的各种组合中得以实施，并且提供可以被组合在单个元件或多个元件中的功能。
能够通过使用专用硬件以及与适当的软件相关联的能够运行软件的硬件来提供附图中示出的各种元件的功能。当所述功能由处理器提供时，所述功能能够由单个专用处理器提供，由单个共享处理器提供，或由多个个体处理器提供，所述多个个体处理器中的一些能够被共享。此外，术语“处理器”或“控制器”的明确使用应当被解释为专指能够运行软件的硬件，并且能够隐含地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、非易失性存储装置等。
此外，本文中记载本发明的各种原理、方面和实施例，以及其特定范例的全部陈述均旨在涵盖其结构和功能二者上的等效方案。额外地，旨在这样的等效方案包括当前已知的等效方案以及未来开发的等效方案(即，所开发的执行相同功能够的任何元件，无论结构如何)二者。因此，例如，本领域技术人员应当理解，本文中呈现的方框图表示实现本发明的原理的示例性系统部件和/或电路的概念图。类似地，应当理解，任何流程图、流程图表等表示各种过程，所述过程基本上可以被表示在计算机可读存储介质中，并且由计算机或处理器如此运行，无论是否明确示出这样的计算机或处理器。
此外，本发明的实施例能够采取可从计算机可用存储介质或计算机可读存储介质访问的计算机程序产品的形式，所述计算机可用存储介质或所述计算机可读存储介质提供程序代码，所述程序代码由计算机或任何指令运行系统使用或与之连接。出于本说明书的目的，计算机可用存储介质或计算机可读存储介质能够是可以包括、存储、通信、传播或传输由指令运行系统、装置或设备使用或与之连接的程序的任何装置。所述介质能够是电子、磁性、光学、电磁、红外或半导体系统(或装置或设备)或传播介质。计算机可读介质的范例包括半导体存储器或固态存储器、磁带、可移除计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘以及光盘。光盘的当前范例包括压缩盘—只读存储器(CD-ROM)、压缩盘—读/写(CD-R/W)、蓝光TM以及DVD。
现在参考附图并且首先参考图1，示例性地示出了根据一个实施例的用于光体积描记(PPG)阅读和分析的系统100，在所述附图中，同样的标号表示相同或相似的元件。系统100可以包括从其监督和/或管理流程的工作站或控制台112。工作站112优选地包括一个或多个处理器114和用于存储程序和应用的存储器116。存储器116可以存储PPG解读模块115，所述PPG解读模块115被配置为分析光反射或透射，以检测经过组织的脉搏波。在特别有用的实施例中，使用光透射和/或反射来分析心血管系统或肺系统。由于血液比周围组织吸收更多的光，因此血容量的变化与光从组织的透射或反射相关。解读模块115被配置为解读来自诸如照相机(例如，CCD照相机)的光捕获设备或传感器128或者光波导和成像设备(例如，光/光学传感器)等的光学信号。光学信号优选地被转换为具有像素值的数字图像。解读模块115包括PPG脉冲和波方法117，所述PPG脉冲和波方法117被配置为译解反射或透射中的小的变化，所述变化可以被渲染为显示器或图像(例如，PPG图)上的像素强度/颜色变化。所述方法可以包括快速傅立叶变换和适于输出PPG信号差异以允许针对组织进行绘制的PPG信号的其他数学算法。在一个实施例中，光捕获设备128被安装在医学设备102上或中。医学设备102可以包括导管、导丝、探头、内窥镜、机器人、电极、过滤设备、气囊设备或其他医学部件等。
在一个实施例中，工作站112包括图像生成模块148，所述图像生成模块148被配置为接收来自解读模块115的反馈，以显示通过光捕获设备128从图像收集的像素数据(例如，颜色分量的变化或颜色分量的强度，例如，蓝色和绿色)的图像。在一个实施例中，所着色的像素数据包括像素强度。图像生成模块148可以输出例如随时间推移积累的蓝色和绿色的像素数据，以生成一个或多个图形。所述一个或多个图形可以被显示在显示器118上，以提供对通过组织的血流量的读数或信息。图像生成模块148可以用于在图像中生成网格或其他叠加信息。例如，网格可以用于跟踪图像中的许多点，以考虑图像随时间推移的移动(以下关于图4所描述的)。图像生成模块148可以被配置为增强图像，并且提供用于比较PPG图(之前和之后的图像)的比较工具，以评估通过血管的血流量。
在特别有用的实施例中，根据本原理分析身体132的内部组织130(在操作台125上示例性地描绘的)。在一个实施例中，内部组织130包括在搭桥外科手术期间或之后的冠状动脉移植物。内部组织130被接近以用于使用具有光捕获设备128的内窥镜102的光学成像。随时间推移收集并从光传感器128或照相机记录内部组织130的一幅或多幅图像134。内窥镜102包括被配置为照亮组织130的一盏或多盏灯126。所述一盏或多盏灯126可以产生具体波长的光(例如，红光或红外光，尽管可以采用其他波长)，所述具体波长的光被配置为增强PPG测量的操作的敏感性。应当理解，可以在没有光或其他辐射源的情况下采用热或其他电磁标记。可以根据从多个途径(例如，多于一个传感器)收集的数据来生成PPG信号。
由解读模块115收集并解读图像134，以确定感兴趣的像素值。一旦确定了像素值，则将像素值输出到图像生成模块148，以显示在显示设备118上。工作站112包括用于观看对象(患者)或组织130的内部图像的显示器118。内部图像144可以包括身体132的术前或术中图像。这些图像可以由另一成像模态或系统110收集。PPG图136可以被叠加在图像134和/或144上。图像生成模块148可以将数据叠加在图像134上，以创建叠加图136或对所收集的数据的其他渲染。显示器118也可以允许用户与工作站122及其部件和功能或者在系统100之内的任何其他元件的交互。这通过接口120被进一步促进，所述接口120可以包括键盘、鼠标、操纵杆、触感设备，或允许来自工作站112的用户反馈和与工作站112的用户交互的任何其他的外围设备或控制设备。
对在不同的时间的图136的比较提供了用于确定通畅性的优选的操作模式。(在内窥镜102中用于内部应用的)光感测设备128的位置在两个不同的时间(例如，已经安装移植物之前和之后)处被维持或被返回到相同的位置。在一个实施例中，相同的位置是手动实现的。在另一实施例中，机器人124由机器人控制器138控制，以返回到相同的之前和之后的位置。在又另一实施例中，通过移动循环(例如，心搏或呼吸循环)对PPG光测量进行计时。以这种方式，使测量在相同时间/解剖结构的位置处以考虑运动伪影。所述相同时间/位置可以从心电图、呼吸循环测量等中获得。
PPG原理用于确保在介入流程期间搭桥已经成功。由于在微创流程期间，内窥镜102可以包括照相机(例如，光收集设备128)，因此来自照相机的图像134能够用于提取在已经执行搭桥之前和之后关于血流量和血容量的信息。该成像能够用于辅助由例如成像设备110的其他成像，或被用作单机成像模态，即使在未配备X射线设备的操作室中。成像设备110被示例性地描绘为C臂型X射线设备；然而，可以采用其他成像模式来代替或额外于X射线。
有利地，可以提供仅使用内窥镜图像而没有任何额外的硬件来评估移植物通畅性。在模块115中，使针对移植物通畅性评估的图像经受模块115中的PPG算法/方法117，以输出PPG图136。尽管本范例描述了移植物通畅性，但是本原理不仅可应用于冠状动脉搭桥移植，而且还可应用于在其中执行血管重建或需要评估血流量的任何其他外科手术流程。另外，能够使用本原理来证实在其中期望血容量和血流量的变化作为结果的任何流程，例如肿瘤消融、聚焦超声消融等。
在范例中，能够使用PPG信号直接比较在已经执行搭桥之前与之后的血流量和血容量。这在不停跳的心脏外科手术的情况下，通过也采用心脏或血管的图像中的特征跟踪，能够用于使用PPG信号来核查移植物通畅性。也能够在使用具有ECG信号的门控的不停跳的心脏外科手术的情况下，使用PPG信号来核查移植物通畅性。
特征跟踪可以包括比较随时间推移的两个或更多个PPG信号；信号每次均提取自相同的解剖结构位置。可以跟踪图像中的显著的或有区别的一个或多个特征，以确定它们的运动来评估组织的运动。这样做的一种方式是将图像划分成网格并且跟踪网格的多个单元中的每个中的点，以确保PPG信号在两个不同的时间点处均提取相同的解剖结构的点的集合。这也能够通过其他跟踪方法来实现。
成像设备110可以包括荧光检查(X射线)成像系统、计算机断层摄影(CT)系统、磁共振成像(MRI)系统以及超声(US)系统等。在开放式外科手术中，小的CCD照相机(例如，在外部安装的照相机)能够被定位在术野之上，以执行对利用例如在内窥镜上的照相机执行的内部流程的类似分析。
参考图2，示出了另一示例性设置，所述设置包括由工作站112(图1)控制的机器人202。外科医生继续以标准方式执行微创心脏搭桥外科手术。在执行搭桥和吻合之前，具有照相机128的内窥镜102被定位在患者206中的心脏204之上。成像优选地发生在将执行搭桥的区附近，亦即，冠状动脉上具有动脉粥样硬化变窄的位置。如果不能够看到该靶解剖结构，那么能够执行叠加融合术前图像(例如，CT扫描)和内窥镜图像。
如果机器人202用于引导内窥镜102，则能够存储机器人202在内窥镜102被正确定位在心脏204之上时的关节位置，以在随后已经完成搭桥之后得到参考，使得能够重现该位置以用于对心脏204进行成像。当内窥镜102在适当的位置的情况下，能够采取在一时间段上的内窥镜图像，并且然后能够针对每个图像生成PPG图。
一旦已经完成了搭桥，则将内窥镜102定位在与搭桥之前相同的位置。在机器人引导的内窥镜的情况下，机器人202能够返回到如之前的确切位置。内窥镜102采取该区域的新的图像，并且再次生成PPG图。假设搭桥位置下游的血管以及心肌组织应当从经搭桥的血管接收更大量的血液，则在搭桥之前和之后的PPG信号应当显示强烈的差异。如果不是这样的情况，则信号将非常相似。
对于外科医生，能够以若干种方式呈现PPG图的可视化以促进评估。能够并排地以及与减影图像一起示出之前和之后的PPG图。这些图像和图可以由图像生成模块148(图1)生成。减影图像能够被绘图上颜色，示出具有最大信号差异的位置，所述位置指示在其中血流量改变最多的组织。另外，能够将颜色图叠加到内窥镜图像上，以给出能够找到血容量的最大差异地方的更好的感测。也可以从图搜集其他有用的信息。
参考图3，示出了示例性图像300，所述图像300具有被叠加到心脏306的内窥镜图像304上的颜色图302。颜色图302提供在搭桥流程之前和之后的心肌组织之间的PPG减影信号(例如，从之后的像素值减去之前的像素值(或者相反))，以提供差分图或减影图)。在这种情况下，颜色图302上的信号强度越高，指示血容量在搭桥之前和搭桥之后的图像之间的差异越大。如果在搭桥位置下游未观察到大的差异，那么流程的成功性是有问题的，并且需要进一步调查。
PPG信号对运动非常敏感。如果特定的像素在图像中移动，那么PPG信号将有很大不同，并且可以不对应于期望的值。在患者未借助于心肺流转机的情况下，不停跳的心脏可以引起足以致使PPG信号无用的运动。图4描述了被提供来解决这样的情况的实施例。
参考图4，示出了具有网格404的图像402，所述网格404将图像402划分成多个部分406。每个部分406包括在每个网格部分406中被跟踪的至少一个点408。能够在每个网格位置或部分406处获得PPG信号。能够通过观看并比较图像序列，在图像中实时跟踪被跟踪的点408(例如，每个网格的中心点，尽管可以采用其他点)。由于能够将图配准到被跟踪的点，因此这将允许PPG信号随时间推移是可比较的。尽管将图像402划分成网格404并且跟踪单元406中的每个中的点408是一种有效的方法来确保PPG信号在两个不同的时间点处是从相同的解剖结构点的集合提取的，但是也可以采用并预期其他跟踪方法，例如，跟踪图像上的显著特征而非中心点等。
参考图5，心电图(ECG)502提供一波形，所述波形可以用于触发PPG信号测量。这促进对PPG信号的收集以证实或核查例如移植物通畅性。使用ECG信号，在例如图形502上的对应点504处触发内窥镜，以在心脏循环期间对应的循环中在确切相同的地方/时间收集图像。这使PPG信号中的运动伪影最小化。也可以采用其他计时信号，例如呼吸循环等。
参考图6，可以通过采用两个或更多个成像模态来核查移植物或其他解剖结构特征。例如，可以执行X射线移植物通畅性与PPG移植物通畅性证实的组合。可以通过已知的方法配准X射线图像与内窥镜图像的坐标系。能够将这样的方法扩展到PPG成像，这是因为这些图像是根据内窥镜流处理的。以这种方式，能够将X射线图像602(例如，冠状动脉血管造影)与PPG图像604组合，以在同一图像中将两种模态可视化(例如，通过叠加)。
参考图7，示例性地示出了根据本原理的用于评估通过组织的血管或血流的通畅性的方法。在方框702中，将光传感器相对于血管定位以接收来自血管的光。光传感器可以包括照相机，并且照相机可以被安装在内窥镜或开放切口中的一个上。在方框704中，定位光传感器可以包括在不同的时间将光传感器定位在相同的位置，使得可以比较PPG信号以确定血管中的PPG变化。在另一实施例中，在方框706中，机器人可以用于允许在不同的时间对光传感器进行可重复定位。
在方框708中，将光转换成图像信号。在方框710中，解读图像信号以确定光体积描记(PPG)信号，并且输出图像中表示PPG信息的像素值。在方框712中，生成PPG图，所述PPG图要被输出到显示器以用于根据像素值进行分析。在方框714中，可以提供在不同的时间生成的PPG信号的减影图像。在方框716中，可以将减影图像或PPG图叠加在由光传感器收集的图像(例如，在内窥镜图像之上)或其他图像上。应当注意，可以在PPG图之间执行其他操作以提供比较。
在方框718中，分析至少一个PPG图以确定血管的通畅性。在方框720中，可以将PPG图叠加在内窥镜图像、X射线图像、超声图像等上。在方框722中，血管可以包括搭桥移植物，并且PPG图可以指示在不同的时间通过移植物的血流量。
在方框724中，考虑感兴趣区的运动。跟随两个范例，尽管可以采用其他方法。在方框726中，可以在血管的图像信号上生成网格叠加。网格的每个部分可以包括要跟随的被跟踪的点，以确定随时间推移的血管的运动。在方框728中，提供计时量度(例如，心电图(ECG)信号)。在方框730中，采用计时信号以用于触发在沿着计时信号的对应位置处的PPG测量，以考虑血管的运动。
在解释权利要求时，应当理解：
a)“包括”一词不排除存在给定权利要求中列出的元件或动作之外的其他元件或动作；
b)元件前的“一”或“一个”一词不排除存在多个这样的元件；
c)权利要求中的任何附图标记不限制其范围；
d)若干“器件”可以由相同的项目或硬件或实施结构或功能的软件来表示；以及
e)并不要求动作的具体顺序，除非具体指示。
已经描述了用于使用内窥镜图像上的光体积描记来评估通畅性的优选实施例(其旨在图示而非限制)，应当注意，按照以上教导，本领域技术人员能够做出修改和变型。因此，应当理解，在本公开的具体实施例中可以做出改变，公开的所述改变在如权利要求书概括的在本文中公开的实施例的范围之内。因此，已经描述了由专利法要求的详情和特征，在权利要求书中阐述了由专利证书权利要求和期望保护的内容。

Claims (11)

1.一种用于评估通畅性的系统，包括：
光传感器(128)，其被定位在内窥镜上并且能相对于血管定位，所述光传感器被配置为接收来自所述血管的光，并且将所述光转换成图像信号；
光体积描记(PPG)解读模块(115)，其被配置为接收所述图像信号并且输出图像中表示PPG信息的像素值；以及
图像生成模块(148)，其被耦合到所述光体积描记(PPG)解读模块，并且被配置为接收所述像素值并且生成PPG图，所述PPG图要被输出到显示器以用于分析。
2.如权利要求1所述的系统，其中，所述光传感器(128)包括照相机。
3.如权利要求1所述的系统，还包括机器人(124)，所述机器人被配置为相对于所述血管定位所述光传感器。
4.如权利要求1所述的系统，其中，所述光传感器(128)被配置为在第一时间相对于所述血管被定位在一位置处以获得第一PPG图，并且还被配置为在第二时间被定位在相同的位置以获得第二PPG图，使得能够比较所述第一PPG图与所述第二PPG图以确定所述血管中的PPG变化。
5.如权利要求4所述的系统，还包括机器人(124)，所述机器人被配置为使得能够在不同的时间对所述光传感器进行可重复定位。
6.如权利要求4所述的系统，其中，所述图像生成模块(148)还被配置为生成来自所述第一时间和所述第二时间的所述第一PPG图和所述第二PPG图的减影图像。
7.如权利要求6所述的系统，其中，所述图像生成模块(148)还被配置为将所述减影图像叠加在来自由所述光传感器提供的所述图像信号的图像上。
8.如权利要求1所述的系统，其中，所述图像生成模块(148)还被配置为将所述PPG图(136)叠加在来自由所述光传感器提供的所述图像信号的图像上。
9.如权利要求1所述的系统，其中，所述图像生成模块(148)还被配置为将所述PPG图(136)叠加在X射线图像上。
10.如权利要求1所述的系统，其中，所述血管包括搭桥移植物，并且所述PPG图(136)指示在不同的时间通过所述移植物的血流量。
11.如权利要求1所述的系统，还包括光源，所述光源被定位在所述内窥镜上并被配置为照亮所述血管。
CN201380034131.5A 2012-06-28 2013-06-20 使用内窥镜图像上的光体积描记对通畅性的评估 Active CN104427926B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261665335P 2012-06-28 2012-06-28
US61/665,335 2012-06-28
PCT/IB2013/055071 WO2014001981A1 (en) 2012-06-28 2013-06-20 Evaluation of patency using photo-plethysmography on endoscope images

Publications (2)

Publication Number Publication Date
CN104427926A CN104427926A (zh) 2015-03-18
CN104427926B true CN104427926B (zh) 2017-09-08

Family

ID=49151258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380034131.5A Active CN104427926B (zh) 2012-06-28 2013-06-20 使用内窥镜图像上的光体积描记对通畅性的评估

Country Status (5)

Country Link
US (1) US9750575B2 (zh)
EP (1) EP2866643B1 (zh)
JP (1) JP6320374B2 (zh)
CN (1) CN104427926B (zh)
WO (1) WO2014001981A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5988907B2 (ja) * 2013-03-27 2016-09-07 オリンパス株式会社 内視鏡システム
EP3125745A1 (en) * 2014-03-31 2017-02-08 Koninklijke Philips N.V. Device, system and method for tumor detection and/or monitoring
KR102349959B1 (ko) * 2015-01-07 2022-01-11 삼성전자주식회사 생체 신호 측정장치 및 방법
WO2016189071A1 (en) * 2015-05-28 2016-12-01 Koninklijke Philips N.V. X-ray imaging system with camera capable of recording physiological states
CN108430323A (zh) * 2015-08-07 2018-08-21 关也正树 血流障碍检测装置
WO2017121834A1 (en) * 2016-01-15 2017-07-20 Koninklijke Philips N.V. Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
WO2018046094A1 (de) * 2016-09-09 2018-03-15 Siemens Aktiengesellschaft Verfahren zum betreiben eines endoskops, endoskop sowie vitalparametermonitor
US11406274B2 (en) * 2016-09-12 2022-08-09 Alio, Inc. Wearable device with multimodal diagnostics
EP3585250A1 (en) * 2017-02-27 2020-01-01 Koninklijke Philips N.V. Venipuncture and arterial line guidance via signal variation amplification
JP6918971B2 (ja) * 2017-04-21 2021-08-11 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． トモグラフィックイメージングのためのパルスオキシメータを使用した呼吸ゲーティング
EP3808275A1 (en) * 2019-10-14 2021-04-21 Koninklijke Philips N.V. Perfusion angiography combined with photoplethysmography imaging for peripheral vascular disease assessment
CN112842285B (zh) * 2020-12-31 2021-09-24 山东大学齐鲁医院 一种内镜下辅助识别粘膜下血管的方法及系统
CN112971694B (zh) * 2021-04-30 2021-08-20 武汉磁济科技有限公司 一种胶囊内窥镜、胶囊内窥镜的控制系统以及方法
US20230053189A1 (en) * 2021-08-11 2023-02-16 Terumo Cardiovascular Systems Corporation Augmented-reality endoscopic vessel harvesting

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19741982A1 (de) * 1996-09-23 1998-10-08 Blazek Vladimir Prof Dr Ing Vorrichtung zur ortsaufgelösten, berührungslosen und funktionellen Visualisierung der dermalen Blutperfusion
AU782257B2 (en) * 1999-09-24 2005-07-14 Stryker European Operations Limited Method and apparatus for performing intra-operative angiography
US20050182434A1 (en) 2000-08-11 2005-08-18 National Research Council Of Canada Method and apparatus for performing intra-operative angiography
WO2005058137A2 (en) * 2003-12-12 2005-06-30 University Of Washington Catheterscope 3d guidance and interface system
US8602997B2 (en) * 2007-06-12 2013-12-10 Sotera Wireless, Inc. Body-worn system for measuring continuous non-invasive blood pressure (cNIBP)
EP2615993B1 (en) * 2010-09-15 2015-03-18 Koninklijke Philips N.V. Robotic control of an endoscope from blood vessel tree images
EP2624779B1 (en) * 2010-10-08 2018-05-30 Koninklijke Philips N.V. Endoscopy-guided deployment of vessel punch

Also Published As

Publication number Publication date
JP6320374B2 (ja) 2018-05-09
US20150164592A1 (en) 2015-06-18
WO2014001981A9 (en) 2015-02-26
JP2015525599A (ja) 2015-09-07
US9750575B2 (en) 2017-09-05
CN104427926A (zh) 2015-03-18
EP2866643B1 (en) 2017-09-20
EP2866643A1 (en) 2015-05-06
WO2014001981A1 (en) 2014-01-03

Similar Documents

Publication Publication Date Title
CN104427926B (zh) 使用内窥镜图像上的光体积描记对通畅性的评估
US10390718B2 (en) Multi-spectral physiologic visualization (MSPV) using laser imaging methods and systems for blood flow and perfusion imaging and quantification in an endoscopic design
KR101572487B1 (ko) 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
CN105025799B (zh) 用于诊断超声机器的三维映射显示系统
US10058256B2 (en) Multi-spectral laser imaging (MSLI) methods and systems for blood flow and perfusion imaging and quantification
JP6719885B2 (ja) 心内信号を利用した位置合わせマップ
JP6404713B2 (ja) 内視鏡手術におけるガイド下注入のためのシステム及び方法
US7343195B2 (en) Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
CN106999052A (zh) 交互式心脏测试数据和相关联的设备、系统和方法
US20150031990A1 (en) Photoacoustic tracking and registration in interventional ultrasound
JP2017534378A (ja) 血流量及び灌流量のマルチスペクトル画像化によって得られる信号を使用して血行動態パラメータを決定する方法、システム、及びコンピュータプログラム製品
CN105188550A (zh) 血管数据处理和图像配准系统、方法及装置
WO2014152753A1 (en) Methods, systems and computer program products for non-invasive determination of blood flow distribution using speckle imaging techniques and hemodynamic modeling
JP7427251B2 (ja) 内視鏡設計における血流および灌流撮像および定量化のためのレーザ撮像方法およびシステムを用いたマルチスペクトル生理機能視覚化（ｍｓｐｖ）
JP2017153947A (ja) Ｘ線／血管内画像コロケーションの方法およびシステム
JP4071475B2 (ja) 生体光計測装置
EP1302159A1 (en) Cardiac magnetic field diagnozer for atrial flutter and atrial fibrillation and method for identifying electric turning path of atrial flutter and atrial fibrillation
JP3712349B2 (ja) 生存心筋診断装置およびその作動方法
JP2008142154A (ja) 生体磁場計測装置および生体モデルへの平行投影方法
KR20150131881A (ko) 의료 영상 정합 방법, 이를 포함하는 장치 및 컴퓨터 기록 매체
Applegate et al. Real-time handheld probe tracking and image formation using digital frequency-domain diffuse optical spectroscopy
CN109475314B (zh) 使用照相机和脉冲血氧计的高分辨率血液灌注成像
Ando et al. Simultaneous evaluation of wall motion and blood perfusion of a beating heart using stereoscopic fluorescence camera system
Le OPTICAL NAVIGATION TECHNIQUES FOR MINIMALLY INVASIVE ROBOTIC SURGERIES
TW201304737A (zh) 多點定位之輔助透視方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant