CN109965865B - 使用荧光团测量血流方向的设备和方法 - Google Patents

使用荧光团测量血流方向的设备和方法 Download PDF

Info

Publication number
CN109965865B
CN109965865B CN201811620716.6A CN201811620716A CN109965865B CN 109965865 B CN109965865 B CN 109965865B CN 201811620716 A CN201811620716 A CN 201811620716A CN 109965865 B CN109965865 B CN 109965865B
Authority
CN
China
Prior art keywords
blood flow
flow direction
identified
fluorescence intensity
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811620716.6A
Other languages
English (en)
Other versions
CN109965865A (zh
Inventor
乔治·塞梅利斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of CN109965865A publication Critical patent/CN109965865A/zh
Application granted granted Critical
Publication of CN109965865B publication Critical patent/CN109965865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及使用来自荧光团(16)的荧光自动确定血管(14)中的血流方向(42)的设备(1)和方法。通过使用图案辨别模块(26)首先从相机组件(2)首先识别输入帧(6)中的血管结构(38),从而确定血流方向(42)。血流方向(42)由沿着所识别的血管结构(38)的荧光强度(I)的空间梯度(dI/dx)和时间梯度(dI/dt)来确定。输出帧(48)显示在显示器(36)上,其中时变的标记数据(52)覆盖在所识别的血管结构(38)上并代表血流方向(42)。

Description

使用荧光团测量血流方向的设备和方法
技术领域
本发明涉及一种使用荧光团,特别是荧光团的推注,来确定血管中的血流方向的设备和方法。
背景技术
在神经外科手术中,使用吲哚菁绿(ICG)的荧光血管造影术通常用于识别手术区域中的血管。
经验丰富的外科医生或助手能够在显示了图像数据的帧的时间序列的视频中区分不同类型的组织,上述图像数据在荧光团的荧光光谱中获得。为了识别血管,外科医生或助手研究荧光强度的时间和空间发展。这种发展允许外科医生或助手辨别动脉、毛细血管、静脉和病理情况,例如动脉-静脉畸形。
然而,目前对荧光图像视频的认知分析容易出错。因此,需要提供一种用于帮助外科医生或助手在手术期间快速理解手术区域的视觉信息的设备和方法。
发明内容
根据本发明的设备和方法旨在提供这种帮助:自动检测血管和这些血管内的血流方向,并且在输出图像数据中标记待显示给用户(例如外科医生或助手)的血流方向。
根据本发明的设备包括:
-输入接口,用于在荧光团的荧光光谱的至少一部分中检索输入图像数据的至少一个输入帧,
-图案辨别模块,用于识别输入图像数据内的至少一个血管结构,
-计算模块,用于根据沿着所识别的血管结构的空间梯度和所识别的血管结构中的至少一个位置处的时间梯度来确定所识别的血管结构中的血流方向,以及
-图像生成器模块,用于计算输出图像数据的至少一个输出帧,其中输入图像数据对应于所识别的血管结构的部分叠加有表示血流方向的时变的标记数据,以及
-输出接口,用于输出输出帧。
上述模块可以用硬件或软件,或者硬件和软件的任何组合来实现。
根据本发明的方法包括以下步骤:
-在荧光团的荧光光谱的至少一部分中获取输入图像数据的至少一个输入帧;
-自动辨别所述至少一个输入帧内的至少一个血管结构;
-根据沿着所识别的血管结构的荧光强度的空间梯度和至少一个所识别的血管结构内的至少一个位置(A)处的时间梯度来确定沿着血管结构的血流方向;
-计算输出帧,其中血管结构叠加有时变的标记数据;以及
-显示输出帧。
使用在荧光团的荧光光谱的至少一部分中的输入图像数据,或者更优选地,使用限制于荧光团的荧光光谱或荧光光谱的一部分的输入图像数据有助于从它的不发荧光的周围环境中辨别出血管结构。使用沿着血管结构的荧光强度分布允许从单个帧识别血流方向,即非常快速地识别。显示时变的图案允许向用户可视化血流方向,从而便于用户在操作区域中的定向。输入图像数据优选地包括像素,其中每个像素表示视场平面中的区域。如果输入图像数据是二维的,则只有一个这样的平面。如果输入图像数据是三维的,则输入帧中存在至少两个这样的平面。
对于血管结构及其几何形状的识别,可以使用已知技术,诸如“血管造影和斑块成像:高级分割技术(Angiography and Plaque Imaging:Advanced SegmentationTechniques)”(Jasjit S.Suri和Swamy Lax-minarayan编辑,CRC出版社,2003年4月29日,第501-518页)中所记载的。
通过添加以下描述的一个或多个特征,可以进一步改进根据本发明的设备和方法。应当理解,这些特征可以彼此独立地添加,并且每个特征具有其自身的技术效果。以下特征可以不加区分地用于根据本发明的方法和设备。
例如,如果计算模块适于计算至少一个所识别的血管结构的中心线,则可以提高确定血流方向的可靠性。结构的中心线的计算例如在以下文献中示出:“用于管状树和中心线分割的测地线选定方法(A geodesic voting method for the segmentation oftubular tree and centerlines)”,Rouchdy、Youssef和Cohen、Laurent(2011),论文集/IEEE国际生物医学成像研讨会:从纳米到宏观,IEEE国际生物医学成像研讨会,979-983.10.1109/ISBI.2011.5872566。中心线可以用于简化随后的计算,因为所识别的血管结构可以简化为中心线,即从输入图像数据或像素的二维阵列简化成一维阵列。至少一个位置可以位于中心线上。
输入帧可以是由相机组件获取的帧,或者可以是从多个帧计算而得,例如以减少低光条件或区域内的传感器或放大器噪声。
输入帧可以通过输入接口从相机或存储组件(例如存储设备)中检索到,其中输入帧在预处理之后被缓冲或存储。
例如与靠近所识别的血管结构的壁的分布相比,沿着中心线的荧光强度分布、空间梯度和时间梯度中的至少一个的计算更准确地反映了荧光强度沿着血管结构的空间发展。在这种情况下,所识别的血管结构的中心线由像素阵列表示,所述像素阵列又表示与实际血管的中心线重叠的视场区域。
可以仅使用荧光来识别血管结构。附加地或替代地,可以通过将输入图像数据中的一个像素处的光谱与动脉和静脉血中的至少一个的反射光谱进行比较来识别血管结构。
在根据本发明的设备和/或方法的一个实施例中,可以提供相机组件,相机组件具有视场并且适于在荧光团的荧光光谱的至少一部分中获取输入图像数据的至少一个输入帧,输入图像数据代表视场,特别是在给定的时间。相机组件可以连接到输入接口。相机组件可以是RGB相机组件、多光谱相机组件和高光谱相机组件中的至少一种。优选地,至少一个传感器阵列专用于获取光谱中的图像数据,该光谱限于荧光团的荧光光谱。
附加地或替代地,该设备和/或方法可以提供用户界面,其允许用户将输入图像数据的特定部分标记为血管结构。这种图形用户界面可以是图案辨别模块的一部分。例如,用户可以将任何优选的相干像素阵列定义为血管结构。然后将该结构就像自动识别的血管结构一样被处理。替代地或附加地,用户可以输入一行像素,然后将其视为中心线。如果使用这种手动输入,则可能不需要自动识别血管结构和中心线。
在另一个实施例中,在血管结构的中心线上的一个位置处-即在表示该位置的像素处-荧光强度、时间梯度和空间梯度中的至少一个可以从邻近或围绕该像素或输入图像数据的、优选的相干像素阵列或输入图像数据阵列中的平均值计算而得。阵列的像素或等效地输入图像数据可以特别地沿着一条线定位,该线从垂直于中心线的像素延伸穿过所识别的血管结构。该线在沿着所识别的血管结构或沿着中心线的方向上可以具有一个或多个像素的宽度。该线优选地在垂直于中心线的方向上在所识别的血管结构的整个宽度上延伸。平均阵列的荧光强度进一步提高了计算荧光强度分布的准确度,因为可以消除血管结构上的噪声和不均匀的荧光强度分布。
为了减少噪声和伪影,可以针对荧光强度、空间梯度和时间梯度中的至少一个计算曲线拟合。这种曲线拟合可以是多项式拟合、低通滤波或主成分分析。拟合可以进一步降低荧光强度数据中的噪声。可以使用诸如低通或带通滤波器的时间和/或空间滤波器来过滤荧光强度、空间梯度和/或时间梯度,以去除异常值。
至少一个位置可以是输入图像数据中的单个像素或像素阵列。优选地,在沿着所识别的血管结构彼此间隔开的多个位置处计算空间和时间梯度。至少一个位置优选地位于所识别的血管结构的中心线上。例如,沿着血管结构,在输入帧和/或输入图像数据中的每个像素处,特别是在中心线上的每个像素上,可以计算空间梯度和时间梯度。
可以使用输入帧的时间序列的至少两个后续输入帧的所识别的血管结构内的至少两个匹配位置处的荧光强度来计算时间梯度。同样,该位置对应于输入图像数据中的一个像素或像素阵列。该位置优选地位于中心线上。优选地,计算时间梯度的至少一个位置对应于在至少一个输入帧中计算空间梯度的至少一个位置。
在该设备中,空间和时间梯度中的至少一个的计算可以由计算模块来执行。
识别血管结构和/或计算时间梯度的步骤可以包括在至少两个后续帧中识别在所识别的血管结构内的匹配位置的步骤。它还可以包括将时间序列的一个输入帧中所识别的血管结构的中心线上的位置与所述时间序列的一个后续或在前的输入帧中所识别的血管结构的中心线上的位置相匹配。这些步骤可以由设备的图案辨别模块来执行。
在将空间梯度与时间梯度进行比较的步骤中,被比较的空间梯度和相应时间梯度的位置是相同的。可以分别在多个位置进行比较。在该设备中,计算模块可以被配置用于该比较。
在以下假设下,通过在至少一个位置处执行时间和空间梯度的象限分析,能够以非常小的计算量和高精度来计算血流方向。象限分析可以包括在至少一个位置处比较时间梯度和空间梯度的符号。
如果相机组件的视场足够小,则荧光团的推注可以被视为沿着所识别的血管结构以相应的血流速度保持不变的形状而传播的荧光强度波。因此,通常是时间t和空间(X、Y、Z)的函数的荧光强度I,即I(X、Y、Z),可以简化成一维强度波函数,
I(X,Y,Z,t)=I(x±vt)(1)
其中x是沿血管测量的坐标,v是荧光波的传播速度,即血流速度。在等式(1)中,沿着血管结构,特别是沿其中心线,I(x-vt)表示沿正x方向传播的荧光波,I(x+vt)表示沿负x方向传播的荧光波。
从等式(1)可以推导出荧光强度的空间梯度dI/dx与荧光强度的时间梯度dI/dt的关系为:
dI/dx=±v*dI/dx(2)
在等式(2)中,沿着血管,如果推注沿负x方向行进则应用+符号,如果推注沿正x方向行进则应用-符号。该关系式独立于如何定义x的方向。从等式(2)可以得出,如果在一个位置处空间梯度具有与时间梯度不同的符号,则荧光强度波沿负x方向行进,因此血流方向沿正x方向指向;如果空间梯度和时间梯度具有相同的符号,则血流方向沿着负x方向。
确定血流方向的步骤可以包括在所识别的血管结构或中心线的至少一个位置处比较时间梯度和空间梯度的符号。比较可以包括算术运算,例如减法,和/或逻辑运算,例如符号位掩码或大于/小于比较。
如果在输入帧中的多个位置处进行比较,则血流方向的确定变得更可靠。例如,如果在大多数位置处空间梯度和时间梯度具有相反的符号,则可以确定血流方向沿着正方向。可以使用已知的统计方法来提高该估计的可靠性,例如仅使用落在预定值范围内的梯度或同时荧光强度在预定范围内的梯度。在该设备中,计算模块可以被配置为执行任何前述步骤。
鉴于上述情况,识别血管结构的步骤还可以包括沿着所识别的血管结构,特别是沿其中心线限定正方向的步骤。在该设备中,图案辨别模块可以被配置用于该限定。
时变的标记数据可以包括至少一个可见的子结构,其在血流方向上沿着血管结构改变从一个输出帧到后续输出帧的位置。子结构可以是特别相干的图像数据集,其通过亮度和颜色中的至少一个与标记数据的相邻子结构区分开。例如,子结构可以是条纹,其垂直于中心线延伸并且与具有不同亮度和不同颜色中的至少一种的条纹相邻。子结构沿着血管结构或中心线从一个输出帧到下一个输出帧的位置变化优选地小于子结构沿着血管结构或其中心线的范围。
上述特征可以用软件、硬件或软件和硬件部件的任何组合来实现。本发明还可以涉及一种存储程序的非暂时性计算机可读介质,该程序使计算机执行任何上述实施例中的方法。在下文中,参考附图描述了本发明的示例性实施例。在附图中,相同的附图标记用于关于设计和功能中的至少一个彼此对应的元件。此外,从以上描述可以清楚地看出,如果与特征相关联的技术效果对于特定应用是有用的,则可以将该技术特征添加到示例性实施例。反之亦然,如果特定应用不需要与该特征相关联的技术效果,则可以省略示例性实施例中示出的该特征。
附图说明
在图中,
图1示出了根据本发明的设备的示意图;
图2示出了另一个所识别的血管结构的示意性再现;
图3示出了另一个所识别的血管结构的示意性再现;
图4示出了输出帧的示意性再现。
具体实施方式
首先是用于测量血流方向的设备1的结构。设备1尤其可以是显微镜或内窥镜。
设备1包括相机组件2,相机组件2可以包括RGB相机、多光谱相机或超光谱相机中的至少一种。相机组件2具有视场4,其中它获取至少一个输入帧6或输入帧6的时间序列8。输入帧6由图像数据10组成,图像数据10又可以包括像素11。每个输入帧6表示在一个时刻的视场4的再现。每个像素10表示视场4的一部分。
在图1中,活组织12已经布置在视场4中,例如为了进行脑手术或血管手术,其可以由设备1辅助。
为了识别活组织12中的血管14或其各自的数字表示,即输入帧6或输入图像数据10,已将荧光团16注入活组织12中。这导致荧光团的推注,其与血流一起被运输。这种荧光团16的一个示例是吲哚菁绿,ICG。
可以提供照明组件18,以便用包括或限于触发荧光团16的荧光的波长的光照明视场4。
相机组件2被配置为在荧光团16的荧光光谱的至少一部分中获取至少一个输入帧6。优选地,在输入帧6中表示的波长被限制为荧光团16的荧光光谱。相机组件2可以包括附加相机(未示出),以同时获取可见光范围内的输入帧。如果使用多光谱或高光谱相机组件,则可以同时记录可见光和荧光帧。
通过记录在荧光团16的荧光光谱中的帧,可以清楚地从周围组织中辨别出血管14,因为荧光强度在聚集了大部分荧光团16的区域中(即血管中)最高。
输入帧6以及由此输入图像数据10可以是立体的、三维的或多维的。在多维帧中,像素11可以位于输入帧的一个位置。利用显微镜可以获取三维输入图像数据10,例如使用z-堆叠显微镜,或SCAPE显微镜(扫描共焦对准平面激励显微镜)。多维输入图像数据10可以由多光谱或高光谱相机生成。
设备1还可以包括图像处理组件20,例如至少一个集成电路。
图像处理组件20可以包括输入接口22,用于分别输入至少一个输入帧6和/或输入图像数据10。输入接口22可以处于到相机组件2的数据传输连接24中,例如有线或无线数据连接。图像处理组件20可以包括图案辨别模块26、计算模块28和图像生成器模块30,这些模块因此也直接是设备1的一部分。此外,可以提供输出接口32。可以提供有线和/或无线数据连接34,以将至少一个显示器36连接至输出接口32。
输入帧6或输入帧6的时间序列8可以输入至图案辨别模块26。图案辨别模块26被配置为分别识别输入帧6或输入图像数据10中的至少一个血管结构38。这种识别可以用已知的算法进行,例如由Jasjit S.Suri和Swamy Laxminarayan编辑的“血管造影和斑块成像:高级分割技术(Angiography and Plaque Imaging:Advanced SegmentationTechniques)”,CRC出版社,2003年4月29日,第501页-518中所描述的。
计算模块28连接至图案辨别模块26并且可以接收血管结构38(其在本文中也称为所识别的血管结构38)的数字表示40。例如,所识别的血管结构38可以包括或者由表示视场4中的血管14的那些输入图像数据10和/或像素11组成。
计算模块被配置为从沿着血管结构38的荧光强度分布44确定血流方向42。特别地,计算模块28可以被配置为计算沿着所识别的血管结构38的荧光强度I的空间梯度46,dI/dx。
图像生成器模块30被配置为计算输出图像数据49(例如输出像素50)的至少一个输出帧48。图像生成器模块30尤其可以被配置为从一个或多个输入帧6生成输出帧48的时间序列。在输出帧48中,输入图像数据10的与所识别的血管结构38对应的部分可以与时变的标记数据52重叠。因此,使用时变的标记数据52指示血管结构38和血流方向42。
术语图案辨别模块、计算模块和图像生成器模块主要用于在功能上区分它们。这些模块可以是相同的电气部件或相同的软件元件的一部分,例如子程序。
然后将至少一个输出帧48显示在至少一个显示器36上,该显示器36可以是能够由若干人观察的监视器和/或在显微镜中的通过目镜观察的显示器。
图2示出了血管14或其数字表示,所识别的血管结构38。沿着血管结构38确定了正x方向,例如通过图案辨别模块。例如,这可以通过要求正x方向从血管结构的端部56(更靠近输入帧6的一个角部58)指向血管的相对端部60(更靠近输入帧的沿对角线相对的角部62)。也可以通过首先计算血管结构38的中心线54,然后使用中心线54的端部到角部58、62的距离确定正x方向来确定正x方向。中心线可以通过连接位于血管结构38的最小宽度的中间的像素11来计算,或者如“用于管状树和中心线分割的测地线选定方法(Ageodesicvoting method for the segmentation of tubular tree and centerlines)”(Rouchdy、Youssef和Cohen、Laurent.(2011),论文集/IEEE国际生物医学成像研讨会:从纳米到宏观,IEEE国际生物医学成像研讨会,979-983.10.1109/ISBI.2011.5872566)中所描述的那样计算。
如图2中进一步所示,荧光团16的推注在某处进入活组织12中。然后,推注随着血流被输送并最终到达血管14。
然后可以根据沿着血管结构的荧光强度分布来计算血流方向42,例如由正x方向表示的。
确定血流方向42的一个实施例如下:看两个位置A和B,这两个位置沿着血管结构38彼此间隔开。特别地,位置A和B可以位于中心线处54。位置B可以在正x方向上比位置A远。
如果推注在正x方向上沿着血管14行进,则荧光强度将首先在位置A处然后在位置B处增加。只要荧光强度最大值没有经过位置A,位置A处的荧光强度将比位置B处大。
因此,只要荧光强度最大值没有经过位置A,位置A处的时间梯度将是正的。在其最简单的形式中,位置A处的时间梯度是时间序列8的较晚的输入帧6中的位置A处的荧光强度与时间序列8的较早的输入帧6的相同位置A处的荧光强度的差。例如通过由沿着中心线54的总长度的相对位置定义位置A,可以在后续输入帧上跟踪位置A。对于任何其他位置的时间梯度也是如此。
同时,只要荧光强度最大值没有经过位置A,位置A处的荧光强度的空间梯度将是负的,因为位置A处的荧光强度将大于任何下游位置(例如位置B)处的荧光强度。位置A处的空间梯度以其最简单的形式可以是位置A处的荧光强度与至少一个下游和/或上游位置(例如B)处的荧光强度之间的差。对于任何其他位置的空间梯度也是如此。
在荧光强度最大值已经经过位置A之后,荧光强度将在位置A处随着时间减小。因此,位置A处的时间梯度将是负的。同时,任何下游位置(例如位置B)处的荧光强度将大于位置A处的荧光强度。这导致位置A处的正的空间梯度。
因此,如果在所识别的血管结构38中的位置A处,时间梯度和空间梯度具有相反的符号,则血流方向42在该位置处于正方向。因此,确定血流方向42优选地包括将一个位置处的空间梯度与该位置处的时间梯度进行比较。
如果推注在负x方向上沿着血管14行进,则荧光强度将首先在位置A处随着时间增加,并且当最大荧光强度已经经过位置A时,荧光强度将在位置A处随着时间减小。因此,位置A处的时间梯度将首先是正的,然后在荧光强度最大值经过之后变为负的。位置A处的空间梯度也将首先是正的,因为荧光强度将在下游方向上增加,然后在荧光强度最大值经过之后变为负的。
因此,如果在所识别的血管结构38中的一个位置处,空间梯度和时间梯度具有相同的符号,则血流方向42处于负x方向。这对应于上面的等式(2)的结果。
因此,确定血流方向42可以简化为在所识别的血管结构38中的至少一个位置处的空间和时间梯度的符号的简单象限分析。在该文本中,应当注意,在数值上,需要分别使用空间方向和时间方向上的至少两个点来计算一个位置处的时间和空间梯度。如果血管结构38中的该位置处的空间和时间梯度具有不同的符号,则荧光强度波在正x方向上行进。如果在血管结构38中的给定位置处,时间梯度和空间梯度两者具有相同的符号,则荧光强度波在负x方向上行进。
可以针对所识别的血管结构38内的任何数量的位置计算空间梯度和时间梯度。血管结构内的血流方向42可以被定义为对应于在所有位置上计算的平均血流方向42,在前述所有位置处已经确定空间和时间梯度。平均值可以被加权,例如通过特定位置处的荧光强度或特定位置与中心线的距离。如果荧光强度的最大值仅经过少数位置,则该方法消除了仅使用少数位置可能导致的任何不确定性。优选地,使用至少两个位置,其位于所识别的血管结构的端部处或附近,并且可能使用位于x方向的中间的第三位置。如果在所识别的血管结构38中或沿着中心线54的每个位置处计算血流方向42,则可以获得最可靠的结果。
如果将诸如A的位置处的荧光强度计算为相应输入帧6中相邻像素11的优选相干阵列70的荧光强度的平均值,则可以使沿中心线54的荧光强度分布的计算更准确。
优选地,计算空间和时间梯度的位置位于中心线54上。在这种情况下,像素11的阵列70可以垂直于中心线54延伸,并且例如是一条像素带,其沿着中心线具有至少一个像素的宽度。这在图3中示出。阵列70可以垂直于中心线54延伸穿过所识别的血管结构的部分或整个宽度,并且可以表示由所识别的血管结构表示的血管14的横截面。
平均值可以是荧光强度阵列70的几何、中位、加权或算术平均值。
为了减少噪声,可以在帧中计算沿着所识别的血管结构38的中心线42的荧光强度分布的曲线拟合。曲线拟合可以是例如多项式拟合,或者可以执行主成分分析。替代地,可以使荧光强度形状的分析模型适应于所计算的荧光强度分布。可以使用低通或带通滤波器对荧光强度分布进行空间过滤以去除异常值。
替代地或附加地,还可以针对输入帧6中的所识别的血管结构38中的空间梯度分布和时间梯度分布中的至少一个来计算这种曲线拟合和滤波。
曲线拟合的计算可以在计算模块28中完成。
一旦已经针对所识别的血管结构38计算血流方向42,表示血流方向42的信息就可以在输出图像数据49中覆盖到输入图像数据10上。
这从图4中变得清楚,其中分别示出了输出帧48以及输出帧48的时间序列72。嵌套74示出了输出图像数据49的放大部分,其中血管结构38已经与时变的标记数据52叠加。嵌套可以不是输出图像数据49的一部分。时变的标记数据可以包括伪色。
在时间序列72中的一个输出帧48与后续输出帧中的至少一个输出帧之间,血管结构38内的时变的标记数据52的位置在血流方向42上转移。优选地,标记数据52在时间序列72的后续输出帧之间转移的量小于标记数据在血流方向上的范围,使得标记数据沿着血流方向42逐渐前进。
标记数据52可以通过颜色和亮度中的至少一种而与在血管结构38中的它的相邻区域不同。优选地,标记数据52在垂直于血管结构38的中心线54的方向上延伸穿过血管结构38的整个宽度。
参考标记
1 设备
2 相机组件
4 视场
6 输入帧
8 输入帧的时间序列
10 输入图像数据
11 像素
12 活组织
14 血管
16 荧光团
18 照明组件
20 图像处理组件
22 输入接口
24 相机组件和图像处理组件之间的数据连接
26 图案辨别模块
28 计算模块
30 图像生成器模块
32 输出接口
34 数据连接
36 显示器
38 (所识别的)血管结构
40 血管结构的数字表示
42 血流方向
44 荧光强度分布
46 荧光强度分布的梯度
48 输出帧
49 输出图像数据
50 输出像素
52 时变的标记数据
54 血管结构的中心线
56 血管结构的端部
58 输入图像的角部
60 血管结构的端部
62 输入图像的角部
70 像素阵列
72 输出帧的时间序列
74 嵌套
I 荧光强度
X、Y、Z 视场中的笛卡尔坐标
x 沿血管结构中心线的坐标
t 时间
v 血管结构中的血流速度。

Claims (15)

1.一种使用荧光团(16)测量血流方向(42)的设备(1),包括:
输入接口(2),用于在荧光团(16)的荧光光谱的至少一部分中检索输入图像数据(10)的至少一个输入帧(6),
图案辩别模块(26),用于识别输入图像数据(10)内的至少一个血管结构(14、38),
计算模块(28),用于根据沿着所识别的血管结构(38)的荧光强度的空间梯度(dI/dx)和在所识别的血管结构(38)中的至少一个位置(A)处的荧光强度的时间梯度(dI/dt)来确定所识别的血管结构(38)中的血流方向(42),
图像生成器模块,用于计算输出图像数据(49)的至少一个输出帧(48),其中输入图像数据(10)对应于所识别的血管结构(38)的部分覆盖有代表血流方向(42)的时变的标记数据(52),和
输出接口(32),用于输出所述输出帧(48)。
2.根据权利要求1所述的设备(1),其中计算模块(28)适于计算至少一个所识别的血管结构(38)的中心线(54),并且其中至少一个位置(A)位于中心线(54)上。
3.根据权利要求1或2所述的设备(1),其中计算模块(28)被配置为根据输入帧中的像素阵列(11)的平均荧光强度(I)计算空间梯度(dI/dx)。
4.根据权利要求3所述的设备(1),其中计算模块(28)适于计算至少一个所识别的血管结构(38)的中心线(54),并且其中阵列(11)垂直于中心线(54)延伸穿过所识别的血管结构(38)的至少部分。
5.根据权利要求1或2所述的设备(1),其中计算模块(28)被配置为根据空间梯度(dI/dx)和时间梯度(dI/dt)的符号比较来计算血流方向(42)。
6.根据权利要求1或2所述的设备(1),其中图案辩别模块(26)适于沿着所识别的血管结构(38)限定正方向(x),并且其中计算模块(28)适于当时间梯度(dI/dt)和空间梯度(dI/dx)具有相反符号时确定沿正方向(x)的血流方向(42)。
7.根据权利要求1或2所述的设备(1),其中计算模块(28)适于计算沿着所识别的血管结构(38)和/或中心线的荧光强度分布(I)、空间梯度(dI/dx)或时间梯度(dI/dt)中的至少一个的曲线拟合。
8.一种使用荧光团(16)确定血管(14)中的血流方向(42)的方法,包括以下步骤:
获取在荧光团(16)的荧光光谱的至少一部分中的输入图像数据(10)的至少一个输入帧(6);
自动辩别至少一个输入帧(6)内的至少一个血管结构(38);
根据沿着所识别的血管结构(38)的荧光强度(I)的空间梯度(dI/dx)和在至少一个所识别的血管结构(38)内的至少一个位置(A)处的时间梯度(dI/dt)来确定沿着血管结构(38)的血流方向(42);
计算输出帧(48),其中血管结构覆盖有时变的标记数据(52);和
显示输出帧(48)。
9.根据权利要求8所述的方法,其中识别至少一个血管结构(38)的步骤包括确定血管结构(38)的中心线(54)的步骤。
10.根据权利要求8或9所述的方法,其中确定血流方向(42)的步骤包括将空间梯度(dI/dx)与时间梯度(dI/dt)进行比较的步骤。
11.根据权利要求8或9所述的方法,其中确定血流方向(42)的步骤包括根据时间梯度(dI/dt)和空间梯度(dI/dx)的符号确定血流方向(42)的步骤。
12.根据权利要求8或9所述的方法,其中确定血流方向(42)的步骤包括通过平均像素(11)的阵列(70)的荧光强度(I)来计算至少一个位置(A)处的荧光强度的步骤。
13.根据权利要求8或9所述的方法,其中确定血流方向(42)的步骤包括步骤:计算至少沿着所识别的血管结构(38)或中心线(54)的荧光强度(I)、空间梯度(dI/dx)和时间梯度(dI/dt)中的至少一个的曲线拟合。
14.根据权利要求1所述的设备(1),其被配置为执行根据权利要求8至13中任一项所述的方法。
15.一种存储程序的非暂时性计算机可读介质,所述程序使计算机执行根据权利要求8至13中任一项所述的方法。
CN201811620716.6A 2017-12-28 2018-12-28 使用荧光团测量血流方向的设备和方法 Active CN109965865B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17210909.2 2017-12-28
EP17210909.2A EP3505059A1 (en) 2017-12-28 2017-12-28 Apparatus and method for measuring blood flow direction using a fluorophore

Publications (2)

Publication Number Publication Date
CN109965865A CN109965865A (zh) 2019-07-05
CN109965865B true CN109965865B (zh) 2022-02-18

Family

ID=60915375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811620716.6A Active CN109965865B (zh) 2017-12-28 2018-12-28 使用荧光团测量血流方向的设备和方法

Country Status (4)

Country Link
US (1) US11439306B2 (zh)
EP (1) EP3505059A1 (zh)
JP (1) JP6695414B2 (zh)
CN (1) CN109965865B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3540494B1 (en) 2018-03-16 2022-11-23 Leica Instruments (Singapore) Pte. Ltd. Augmented reality surgical microscope and microscopy method
AU2020407401A1 (en) * 2019-12-19 2022-07-14 Perfusion Tech Aps System and method for identifying blood vessels during fluorescence imaging
CN114862879B (zh) * 2022-07-05 2022-09-27 深圳科亚医疗科技有限公司 包含生理管状结构的图像的处理方法、处理系统和介质
CN116524191B (zh) * 2023-05-11 2024-01-19 山东省人工智能研究院 融入测地线投票算法的深度学习网络的血管分割方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1315844A (zh) * 1998-06-17 2001-10-03 奥森斯有限公司 血液成分的无创伤性光学测量
CN101548887A (zh) * 2008-04-02 2009-10-07 株式会社东芝 医用摄像方法及医用摄像装置
EP2503933A1 (en) * 2009-11-25 2012-10-03 Hanoch Kislev Probing system for measuring the direction and speed of mucus flow in vivo
CN105286779A (zh) * 2015-10-30 2016-02-03 温州医科大学 一种在体视网膜血流动力学的成像与绝对流速测量方法
CN106108917A (zh) * 2015-12-28 2016-11-16 美敦力迷你迈德公司 用于连续葡萄糖监测的传感器系统、设备和方法
CN106419890A (zh) * 2016-11-14 2017-02-22 佛山科学技术学院 一种基于时空调制的血流速度测量装置及方法
CN107137053A (zh) * 2016-02-15 2017-09-08 徕卡仪器(新加坡)有限公司 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置
CN107405094A (zh) * 2014-10-14 2017-11-28 东卡罗莱娜大学 用于使用成像技术来可视化解剖结构以及血流和灌注生理机能的方法、系统和计算机程序产品

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE35456E (en) * 1991-02-06 1997-02-18 General Electric Company Fluoroscopic method with reduced x-ray dosage
US6473698B1 (en) * 1999-04-22 2002-10-29 University Of Louisville Research Foundation, Inc. Method and apparatus for automated rolling leukocyte velocity measurement in vivo
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
WO2003030101A2 (en) * 2001-10-03 2003-04-10 Retinalyze Danmark A/S Detection of vessels in an image
US8620410B2 (en) * 2002-03-12 2013-12-31 Beth Israel Deaconess Medical Center Multi-channel medical imaging system
DE60316123T2 (de) 2002-03-20 2008-05-29 Novadaq Technologies Inc., Mississauga System und verfahren zur visualisierung des flüssigkeitsflusses durch gefässe
KR100971458B1 (ko) 2008-04-18 2010-07-22 한국과학기술원 약물동역학을 이용한 혈관의 기능적 영상화 장치 및 방법
JP2010154982A (ja) 2008-12-27 2010-07-15 Toshiba Corp X線コンピュータ断層撮影装置および画像処理装置
EP3495022B1 (en) * 2011-04-14 2023-06-07 Regents of the University of Minnesota Vascular characterization using ultrasound imaging
US9216008B2 (en) * 2012-01-30 2015-12-22 Technion Research & Development Foundation Limited Quantitative assessment of neovascularization
US20140236011A1 (en) * 2012-08-31 2014-08-21 General Electric Company Methods and systems for simultaneous interventional imaging and functional measurements
JP6222807B2 (ja) 2013-04-01 2017-11-01 東芝メディカルシステムズ株式会社 医用画像処理装置、x線診断装置及び医用画像処理プログラム
JP5953437B2 (ja) * 2013-09-20 2016-07-20 国立大学法人旭川医科大学 血管内血流動態の画像処理方法及びシステム
US9844320B2 (en) 2014-01-29 2017-12-19 University Of Rochester System and method for observing an object in a blood vessel
JP6432770B2 (ja) * 2014-11-12 2018-12-05 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP6550745B2 (ja) * 2014-12-19 2019-07-31 国立大学法人旭川医科大学 血流計測装置
DE102015205959A1 (de) * 2015-02-27 2016-09-01 Siemens Healthcare Gmbh Ermitteln der Geschwindigkeit eines Fluids mit Hilfe eines bildgebenden Verfahrens
CN106102589B (zh) * 2015-06-05 2019-10-25 深圳迈瑞生物医疗电子股份有限公司 超声流体成像方法及超声流体成像系统
US10492682B2 (en) 2015-10-21 2019-12-03 Nidek Co., Ltd. Ophthalmic analysis device and ophthalmic analysis program
JP6922151B2 (ja) 2015-10-21 2021-08-18 株式会社ニデック 眼科解析装置、眼科解析プログラム
EP3619716B1 (en) * 2017-05-04 2023-09-13 Koninklijke Philips N.V. System and method for concurrent visualization and quantification of wall shear stress in blood vessels

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1315844A (zh) * 1998-06-17 2001-10-03 奥森斯有限公司 血液成分的无创伤性光学测量
CN101548887A (zh) * 2008-04-02 2009-10-07 株式会社东芝 医用摄像方法及医用摄像装置
EP2503933A1 (en) * 2009-11-25 2012-10-03 Hanoch Kislev Probing system for measuring the direction and speed of mucus flow in vivo
CN107405094A (zh) * 2014-10-14 2017-11-28 东卡罗莱娜大学 用于使用成像技术来可视化解剖结构以及血流和灌注生理机能的方法、系统和计算机程序产品
CN105286779A (zh) * 2015-10-30 2016-02-03 温州医科大学 一种在体视网膜血流动力学的成像与绝对流速测量方法
CN106108917A (zh) * 2015-12-28 2016-11-16 美敦力迷你迈德公司 用于连续葡萄糖监测的传感器系统、设备和方法
CN107137053A (zh) * 2016-02-15 2017-09-08 徕卡仪器(新加坡)有限公司 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置
CN106419890A (zh) * 2016-11-14 2017-02-22 佛山科学技术学院 一种基于时空调制的血流速度测量装置及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Computerised visualisation from images of blood flow through frog mesenteric microvessels with multiple complexities;M. Manjunatha, M. Singh;《Medical & Biological Engineering & Computing 2002》;20021231(第40期);第634-637页,附图1-2 *
In vivo measurement of erythrocyte velocity and retinal blood flow using adaptive optics scanning laser ophthalmoscopy;Zhangyi Zhong, et al;《Optics Express》;20080818;第16卷(第17期);附图6及其文字解释 *
M. Manjunatha, M. Singh.Computerised visualisation from images of blood flow through frog mesenteric microvessels with multiple complexities.《Medical & Biological Engineering & Computing 2002》.2002,(第40期), *

Also Published As

Publication number Publication date
US20190200869A1 (en) 2019-07-04
EP3505059A1 (en) 2019-07-03
US11439306B2 (en) 2022-09-13
JP6695414B2 (ja) 2020-05-20
CN109965865A (zh) 2019-07-05
JP2019118824A (ja) 2019-07-22

Similar Documents

Publication Publication Date Title
CN109965865B (zh) 使用荧光团测量血流方向的设备和方法
US11475560B2 (en) Method, apparatus, and system to identify branches of a blood vessel
Lohmann et al. LIPSIA—a new software system for the evaluation of functional magnetic resonance images of the human brain
US5016173A (en) Apparatus and method for monitoring visually accessible surfaces of the body
TWI544898B (zh) 決定皮膚發炎分數之裝置及方法
US9898818B2 (en) Automated measurement of changes in retinal, retinal pigment epithelial, or choroidal disease
WO2014115371A1 (ja) 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP4915737B2 (ja) 画像解析システム、及び画像解析プログラム
EP4129061A2 (en) Systems, apparatus and methods for analyzing blood cell dynamics
CN108601509B (zh) 图像处理装置、图像处理方法以及记录有程序的介质
CN103945755A (zh) 图像处理装置、图像处理方法和图像处理程序
JP2006208339A (ja) 領域抽出装置、顕微鏡システムおよび領域抽出プログラム
JP2007252707A (ja) 画像解析装置及び画像解析プログラム
JP5182689B2 (ja) 眼底画像解析方法およびその装置とプログラム
JPH07210655A (ja) 眼科用画像処理装置
EP2827298A1 (en) Method and computer program for filtering and particularly segmenting and/or analyzing anatomic structures in a digital image
JP2021015317A (ja) 認識装置、認識方法及びプログラム
JP2019514471A (ja) 網膜画像処理
US11138728B2 (en) Computer-implemented method, computer program and diagnostic system, in particular for determining at least one geometric feature of a section of a blood vessel
CN112070806A (zh) 一种基于视频图像的实时瞳孔跟踪方法和系统
Bas et al. Automated extraction of blood vessel networks from 3d microscopy image stacks via multi-scale principal curve tracing
Xu et al. Three dimensional optic disc visualisation from stereo images via dual registration and ocular media optical correction
WO2024044625A1 (en) Automated detection and tracking of cortical blood vessel temperature during neurosurgery
Šajn Detecting white spot lesions caused by teeth alignment treatment
CN117413293A (zh) 相对于管腔中心的钙弧计算

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant