CN109843176A - 用于利用机器学习来表征受验者的组织的方法和系统 - Google Patents

用于利用机器学习来表征受验者的组织的方法和系统 Download PDF

Info

Publication number
CN109843176A
CN109843176A CN201780047115.8A CN201780047115A CN109843176A CN 109843176 A CN109843176 A CN 109843176A CN 201780047115 A CN201780047115 A CN 201780047115A CN 109843176 A CN109843176 A CN 109843176A
Authority
CN
China
Prior art keywords
image
subject
data
time series
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780047115.8A
Other languages
English (en)
Inventor
L.古瑞维齐
L.A.斯瓦姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stryker Corp
Original Assignee
Novak Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novak Tech Co Ltd filed Critical Novak Tech Co Ltd
Publication of CN109843176A publication Critical patent/CN109843176A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0275Measuring blood flow using tracers, e.g. dye dilution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7232Signal processing specially adapted for physiological signals or for diagnostic purposes involving compression of the physiological signal, e.g. to extend the signal recording period
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/231Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/557Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7625Hierarchical techniques, i.e. dividing or merging patterns to obtain a tree-like representation; Dendograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173Classification techniques
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)

Abstract

用于表征受验者的组织的方法和系统包括获取和接收荧光图像的多个时间系列的数据,识别与组织的临床表征相关的数据的一个或多个属性,并且基于属性将数据分类为聚类,使得同一聚类中的数据相互之间比不同聚类中的数据更为相似,其中聚类表征组织。方法和系统还包括接收荧光图像的受验者时间系列的数据,将相应聚类与荧光图像的受验者时间系列中的多个子区域中的每个关联,并且基于荧光图像的受验者时间系列中的多个子区域的聚类来生成受验者空间图。所生成空间图则可用作输入以用于使用监控机器学习的组织诊断。

Description

用于利用机器学习来表征受验者的组织的方法和系统
相关申请的引用
本申请要求美国临时申请序号62/368960和62/368971(均于2016年7月29日提交,并且标题均为“METHODS AND SYSTEMS FOR CHARACTERIZING TISSUE OF A SUBJECTUSTILIZING MACHINE LEARING”)的优先权,通过引用将其完整地结合于此。
技术领域
本发明一般涉及成像领域,以及更具体来说涉及用于表征受验者的组织和/或用于利用机器学习来预测和显示与组织相关的临床数据的医疗图像的获取和/或处理。
背景技术
血流是用来定义血液经过血管的移动的通用术语,其能够根据例如体积流率(即,体积/时间)或行进速度(即,距离/时间)等的术语来量化。组织灌注与脉管血流的不同之处在于,组织灌注定义经过组织体积内的血管的血液的移动。更具体来说,组织灌注涉及每单位组织体积(对其提供氧和养分并且从其中去除废物)的微循环血流,组织的毛细血管床被灌注。灌注与营养血管(即,称作毛细管的微脉管)关联,营养血管包括与血液和组织之间的代谢物的交换关联的脉管,而不是更大直径非营养脉管。
存在其中开业医生期望正确评估组织中的血流和/或组织灌注的许多情况。例如,在治疗患有损伤组织的患者中,临床医生必须正确评估伤口部位之中和周围的血流和/或组织灌注,因为不良组织灌注将对治愈过程具有不利影响。血流和/或组织灌注的准确评估增加急性(例如外科)和慢性伤口的成功治愈的机会。灌注动态的评估在其他临床应用(例如经受整形重建手术(例如皮瓣转移)的患者的术前评估或者心脏手术(例如冠状动脉旁路移植手术)期间的心脏组织的生存力和功能的评估)中也是重要的。
某些高级实践开始将成像技术(例如荧光成像技术)用于评估血流和/或组织灌注。荧光成像技术通常采用一团成像试剂(例如吲哚菁绿(ICG))的注射,成像试剂随后经过受验者的整个组织(例如脉管和/或淋巴系统)循环,并且在采用适当激发光所照射时发射荧光信号。当成像试剂团穿过成像视场中的受验者组织时,荧光成像系统获取所发射成像试剂荧光的图像。例如,当试剂团经过动脉血管进入组织、经过组织的微脉管行进并且经过静脉血管离开组织时,可获取图像。当图像作为视频在监视器上显示时,临床医生可观察表示为荧光强度随时间的变化的脉管中的这个成像试剂渡越。基于荧光强度的视觉感知,临床医生可进行与组织的血流和/或灌注状态及其后续治愈可能性有关的相对定性确定。但是,这类图像的定性视觉评估由于多种原因而不一定始终是充分的,特别是在视觉信息不明确的情况下。例如,这种视觉评估受到限制,因为许多参数(例如图像亮度、图像对比度和图像噪声)能够受到除了组织的血流和/或灌注性质之外的因素所影响。此外,纯粹的视觉评估是主观的(例如,视觉评估可逐个临床医生改变,一个临床医生的视觉评估协议对逐个患者和/或逐个成像会话可略微改变),并且不支持用于评估血流和/或组织灌注的标准化协议。最后,由于临床医生缺乏先前视觉评估的记忆或者不准确回忆,所以跨多个成像会话随时间推移可靠和一致地比较并且跟踪患者的血流和/或灌注状态能够是棘手的。
进行若干尝试以将机器学习算法用于组织评估。这类方式看来似乎依靠视觉光伤口图像,并且因此基于伤口的表面外观对伤口进行分类,而忽视更强指示性质和/或状态组织(例如组织健康)的其他重要因素(例如血流模式)。本文所述的方法和系统在包括各种类型的组织(包括伤口组织和/或淋巴组织)中观察的血流动态的组织的医疗成像的上下文中的优良模式识别中利用机器学习算法的优点。因此,流量和/或灌注模式的视觉表示均可比先前所证明的要更为准确并且更为直观。
发明内容
这里所述的是用于表征受验者的组织的方法和系统的变化。一般来说,在一种变化中,一种表征受验者的组织的方法包括接收受验者的荧光图像的多个时间系列的数据,识别与组织的临床表征相关的数据的一个或多个属性,并且基于数据的一个或多个属性将数据分类为多个聚类,使得同一聚类中的数据相互之间比不同聚类中的数据更为相似,其中聚类表征组织。
在一些变化中,该方法还可包括接收受验者的荧光图像的受验者时间系列的数据,将相应聚类与荧光图像的受验者时间系列中的多个子区域中的每个关联,并且基于荧光图像的受验者时间系列中的多个子区域的关联聚类来生成受验者空间(聚类)图。
该方法还可包括接收多个受验者空间图并且接收与每个受验者空间图关联的元数据,在数据库的记录中存储每个受验者空间图及其关联临床数据,并且将数据库的记录作为输入用于监控机器学习算法以用于生成预测模型。预测模型可用于预测与受验者的荧光图像的受验者时间系列关联的临床数据。
在其他变化中,用于表征受验者的组织的系统包括一个或多个处理器以及其上存储指令的存储器,其中指令在由一个或多个处理器运行时使系统执行方法。
按照一个方面,提供一种表征受验者的组织的方法。该方法包括接收受验者的荧光图像的多个时间系列的数据,荧光图像的时间系列由图像捕获系统所捕获或已经捕获。该方法包括识别与组织的临床表征相关的数据的一个或多个属性。该方法包括基于数据的一个或多个属性将数据分类为多个聚类,使得同一聚类中的数据相互之间比不同聚类中的数据更为相似,其中聚类表征组织。该方法能够包括基于所分类聚类来生成表示组织的表征输出。
可选地,受验者的荧光图像的多个时间系列的数据包括原始数据、预处理数据或者其组合。可选地,预处理数据通过应用数据压缩、主成分分析、自动编码或者其组合来预先处理。
可选地,对受验者的荧光图像的时间系列中的多个子区域来识别与组织的临床表征相关的数据的属性。可选地,子区域的至少一个是荧光图像的时间系列中的像素或体素。可选地,子区域的至少一个是受验者的荧光图像的时间系列中的一组像素或一组体素。
可选地,受验者的荧光图像的多个时间系列的数据的一个或多个属性包括时间-强度曲线、系数、空间位置、起始时间、脸红时间、最大荧光强度、血液入口、血液出口或者其组合。
可选地,聚类基于聚类的空间分布、聚类的性质、聚类数据或者其组合来表征组织。可选地,聚类的性质包括聚类的形状。可选地,每个聚类通过质心来表示。质心可指示受验者的荧光图像的多个时间系列的数据的一个或多个属性中的哪一个促成数据分类。
可选地,将受验者的荧光图像的多个时间系列的数据分类为多个聚类包括将数据分类为十个或更少聚类。可选地,将受验者的荧光图像的多个时间系列的数据分类为多个聚类包括将数据分类为七个聚类。
可选地,分类受验者的荧光图像的多个时间系列的数据包括应用无监控聚类算法。聚类算法可以是K-means算法。
可选地,该方法包括基于多个聚类来生成空间图。空间图可表示荧光图像的时间系列中的多个子区域之间的血流、灌注模式或者其组合的差异。
可选地,该方法包括基于分类数据来训练机器学习模型。机器学习模型可在监控机器学习算法中训练。
可选地,该方法包括:接收受验者的荧光图像的受验者时间系列的数据,将相应聚类与荧光图像的受验者时间系列中的多个子区域中的每个关联;基于荧光图像的受验者时间系列中的多个子区域的关联聚类来生成受验者空间图;以及可选地显示空间图。生成受验者空间图可包括基于关联聚类将强度值和颜色中的至少一个指配给荧光图像的受验者时间系列中的每个子区域。
按照一个方面,提供一种预测受验者的组织的临床数据的方法。该方法包括接收如上文所述所生成的多个受验者空间图,并且接收与每个受验者空间图关联的元数据。该方法包括在数据库的记录中存储每个受验者空间图及其关联临床数据。该方法包括将数据库的记录作为输入用于监控机器学习算法,以用于生成表征组织的预测模型。
可选地,元数据包括临床数据、非临床数据或者其组合。临床数据可包括组织异常的诊断、伤口的预测治愈时间、所建议治疗方案或者其组合。
按照一个方面,提供一种预测表征受验者的组织的临床数据的方法。该方法包括接收受验者的荧光图像的受验者时间系列的数据,受验者的荧光图像的受验者时间系列由图像获取装置所获取或已经获取。该方法包括将所生成预测模型用于预测与受验者的荧光图像的受验者时间系列关联的临床数据,以表征受验者的组织。该方法可包括生成表示组织的表征输出。
按照一个方面,提供预测与受验者的荧光图像的受验者时间系列关联的临床数据的数据库的使用。
按照一个方面,提供一种表征受验者的组织的方法。该方法包括接收受验者的荧光图像的受验者时间系列的数据,受验者的荧光图像的受验者时间系列由图像获取装置所获取或已经获取。该方法包括将相应类别与荧光图像的受验者时间系列中的多个子区域中的每个关联,其中类别表征组织,并且基于与组织的临床表征相关的一个或多个属性来定义,使得同一类别中的数据相互之间比不同类别中的数据更为相似。该方法包括基于荧光图像的受验者时间系列中的多个子区域的关联类别来生成表示组织的空间图。该方法可包括显示空间图。
按照一个方面,提供一种表征受验者的组织的方法。该方法包括接收荧光图像的多个时间系列的数据,荧光图像的多个时间系列由图像获取系统所获取或已经获取。该方法包括选择数据的特征向量,每个特征向量表征数据的一个或多个特征。该方法包括生成包含特征向量的数据集。该方法包括分类数据集,以生成加标记数据集。该方法包括生成表示组织的表征的多个质心。该方法可包括基于多个质心来显示组织的表征输出。
按照一个方面,提供一种表征受验者的组织的方法。该方法包括接收包含表征多个数据条目的一个或多个特征的多个特征向量的训练数据集,其中每个数据条目是荧光图像的训练时间系列中的训练子区域的时间-强度曲线的至少一部分,荧光图像的时间系列由图像获取系统所获取已经获取。
按照一个方面,提供一种系统,其包括布置用于使系统执行方法的一个或多个的一个或多个处理器。该系统可包括图像获取装置,其布置用于获取荧光图像的时间系列。
可选地,该系统包括显示器,以显示空间图图像、受验者空间图图像或两者。
可选地,一个或多个处理器还布置用于在组织的解剖图像上叠加空间图图像、受验者图图像或两者。
可选地,该系统包括光源,其提供激发光,以引起从组织中的荧光成像试剂的荧光发射。
可选地,该系统包括图像获取组合件,其基于荧光发射来生成荧光图像的时间系列、荧光图像的受验者时间系列或两者。
按照一个方面,提供一种用于处理受验者的组织的图像的时间系列的系统。该系统包括用户界面。该系统包括布置用于与用户界面进行通信的处理器。该系统包括存储指令的非暂时计算机可读存储介质,指令在由处理器运行时使处理器执行方法的任一个。处理器可与成像系统进行通信。该系统可包括成像系统。处理器可以是成像系统的组件。处理器可布置用于控制成像系统的操作。
可选地,成像系统是荧光成像系统,以及图像的时间系列可以是荧光图像的时间系列。荧光成像系统可包括照射模块,其布置用于照射受验者的组织,以引起从受验者的组织中的荧光成像试剂的荧光发射。荧光成像系统可包括照相装置组合件,其布置用于获取荧光图像的时间系列。
按照一个方面,提供一种其上嵌入计算机可执行程序代码部件的非暂时有形计算机可读介质,以执行方法的任一个。
按照一个方面,提供一种用于处理受验者的组织的荧光图像的时间系列的套件,该套件包括系统和荧光成像试剂。
按照一个方面,提供一种供方法和系统中使用的荧光成像试剂。荧光成像试剂能够在方法或系统中用于伤口管理。伤口管理可包括慢性伤口管理。
可选地,荧光成像试剂包括吲哚菁绿ICG。荧光成像试剂可以是ICG。
按照一个方面,提供一种可视化血管造影数据的方法。该方法包括下列步骤:a)接收至少一个时间图像序列,荧光图像的时间系列由图像获取系统所获取或已经获取;b)将至少一个时间图像序列分为时间图像序列的图像的空间区域的多个时间序列;c)将空间区域的多个时间序列自动分为多个聚类,使得同一聚类中的序列相互之间比来自不同聚类的序列更为相似;d)接收待可视化的血管造影图像序列;e)对于血管造影图像序列中的每个像素,确定所述像素的时间序列与哪一个聚类对应;以及f)创建图像,其中按照血管造影图像序列中的所述像素位置被确定为所对应的聚类对每个像素指配像素值。
可选地,步骤b)包括对空间区域的每个时间序列来确定表示所述空间区域中的时间图像变化的特征向量。
特征向量可使用降维机器学习算法来确定。降维机器学习算法可基于主成分分析、自动编码器神经网络或者其组合。
可选地,在步骤b),空间区域的时间序列是时间图像序列的图像的单独像素的时间序列。
可选地,步骤c)使用无监控聚类算法来执行。无监控聚类算法可包括K-means算法。
可选地,步骤c)包括使用无监控聚类算法将空间区域的多个时间序列自动分为多个聚类;将空间区域的多个时间序列分为训练数据集和测试数据集;将训练数据集作为输入用于监控机器学习算法以用于生成预测模型;并且对测试数据集测试预测模型;其中步骤e)包括将预测模型用于确定所述像素的时间序列与哪一个聚类对应。
可选地,步骤c)包括基于空间区域的强度的时间相关性将空间区域的多个时间序列自动分为多个聚类。
可选地,步骤c)包括基于累积分类误差来确定聚类的数量。
按照一个方面,提供一种可视化血管造影数据的方法,包括下列步骤:a)检索表示图像的空间区域的强度的不同时间相关性的多个掩码;b)接收待可视化血管造影图像序列;c)对于血管造影图像序列中的每个像素,确定所述像素的时间序列与哪一个掩码最佳地对应;以及d)创建图像,其中按照血管造影图像序列中的所述像素位置被确定为所对应的掩码对每个像素指配像素值。
可选地,通过下列步骤得到多个掩码:e)接收至少一个时间图像序列;f)将至少一个时间图像序列分为时间图像序列的图像的空间区域的多个时间序列;g)将空间区域的多个时间序列自动分为多个聚类,使得同一聚类中的序列相互之间比来自不同聚类的序列更为相似;以及h)对每个聚类,生成表示那个聚类的空间区域的强度的时间相关性的掩码。每个掩码可表示相应聚类的质心的强度的时间相关性。
按照一个方面,提供一种预测临床数据的方法,包括下列步骤:a)接收多个所生成血管造影图像可视化;b)对于每个血管造影图像可视化,在数据库的记录中存储表示它的数据c)对于每个血管造影图像可视化,在数据库的相应记录中存储与其关联的临床数据;d)将数据库的记录作为输入用于监控机器学习算法以用于生成预测模型;e)接收待分析血管造影图像序列;f)可视化血管造影图像序列;以及g)将预测模型用于预测与血管造影图像序列关联的临床数据。
按照一个方面,提供一种预测临床数据的方法,包括下列步骤:a)接收待分析血管造影图像序列,荧光图像的时间系列由图像获取系统所获取或已经获取;b)可视化血管造影图像序列;以及c)将预测模型用于预测与血管造影图像序列关联的临床数据。可通过下列步骤得到预测模型:d)接收多个所生成血管造影图像可视化;e)对于每个血管造影图像可视化,在数据库的记录中存储表示它的数据;f)对于每个血管造影图像可视化,在数据库的相应记录中存储与其关联的临床数据;以及g)将数据库的记录作为输入用于监控机器学习算法以用于生成预测模型。
按照一个方面,提供预测与血管造影图像序列关联的临床数据的数据库的使用。
按照一个方面,提供预测与血管造影图像序列关联的临床数据的预测模型的使用。
按照一个方面,提供一种创建多个掩码的方法,包括下列步骤:a)接收至少一个时间图像序列,时间图像序列由图像获取系统所获取或已经获取;b)将至少一个时间图像序列分为时间图像序列的图像的空间区域的多个时间序列;c)将空间区域的多个时间序列自动分为多个聚类,使得同一聚类中的序列相互之间比来自不同聚类的序列更为相似;以及d)对每个聚类,生成表示那个聚类的空间区域的强度的时间相关性的掩码。每个掩码可表示相应聚类的质心的强度的时间相关性。
按照一个方面,提供通过该方法所得到的用于可视化血管造影数据的多个掩码的使用。
按照一个方面,提供一种用于可视化血管造影数据的系统。该系统包括:a)第一接收单元,用于接收至少一个时间图像序列,时间图像系列由图像获取系统所获取或已经获取;b)划分单元,布置用于将至少一个时间图像序列分为时间图像序列的图像的空间区域的多个时间序列;c)聚类单元,布置用于将空间区域的多个时间序列自动分为多个聚类,使得同一聚类中的序列相互之间比来自不同聚类的序列更为相似;d)第二接收单元,用于接收待可视化的血管造影图像序列;e)确定单元,布置用于对于血管造影图像序列中的每个像素,确定所述像素的时间序列与哪一个聚类对应;以及f)图像创建单元,布置用于创建图像,其中按照血管造影图像序列中的所述像素位置被确定为所对应的聚类对每个像素指配像素值。
按照一个方面,提供一种用于可视化血管造影数据的系统。该系统包括:a)检索单元,用于检索表示图像的空间区域的强度的不同时间相关性的多个掩码;b)接收单元,用于接收待可视化血管造影图像序列;c)确定单元,布置用于对于血管造影图像序列中的每个像素,确定所述像素的时间序列与哪一个掩码最佳地对应;以及d)图像创建单元,布置用于创建图像,其中按照血管造影图像序列中的所述像素位置被确定为所对应的掩码对每个像素指配像素值。
按照一个方面,提供一种用于创建多个掩码的系统。该系统包括:a)接收单元,用于接收至少一个时间图像序列,时间图像序列由图像获取系统所获取或已经获取;b)划分单元,布置用于将至少一个时间图像序列分为时间图像序列的图像的空间区域的多个时间序列;c)聚类单元,布置用于将空间区域的多个时间序列自动分为多个聚类,使得同一聚类中的序列相互之间比来自不同聚类的序列更为相似;以及d)生成单元,布置用于对每个聚类,生成表示那个聚类的空间区域的强度的时间相关性的掩码。
将会理解,方法可以是计算机实现方法。
方法和系统促进获取和生成受验者的组织的视觉表示,其在数据表示方面可以是更为准确的,并且使临床医生用于其临床决策是直观的。方法和系统以及所生成的组织的视觉表示可以可适用于各种类型的组织(例如多种伤口,包括慢性、急性、褥疮),并且可提供用于自动分类组织(例如伤口组织)和/或预测临床结果(例如伤口组织的治愈时间线)的框架。
方法、系统和套件可用于血流成像、组织灌注成像、淋巴成像或者其组合,其可在有创外科手术、微创外科手术、无创外科手术或者其组合期间执行。有创外科手术(其可涉及血流和组织灌注)的示例包括心脏相关外科手术(例如体外循环或者非体外循环CABG)或者修复外科手术。无创或微创手术的示例包括伤口(例如,慢性伤口,例如褥疮)治疗和/或管理。在这方面,例如,伤口随时间的变化(例如伤口尺寸(例如直径、面积)的变化或者伤口中和/或围伤周围的组织灌注的变化)可通过方法和系统的应用随时间推移来跟踪。淋巴成像的示例包括一个或多个淋巴结、淋巴结引流、淋巴绘图或者其组合的识别。在一些变化中,这种淋巴成像可涉及女性生殖系统(例如子宫、子宫颈、阴户)。
将会理解,鉴于方法的任一个所述的任何选项可与其他方法、系统和套件结合使用,反过来也是一样。将会理解,可组合选项的任一个。将会理解,可组合方面的任一个。下文中描述实施例及其变化。将会理解,实施例和/或变化的任一个可与上文所述方法、系统和套件相组合。
附图说明
专利或申请文件包含通过颜色制成的至少一个附图。具有(一个或多个)彩色附图的本专利或专利申请发表的副本将在请求和支付必要费用时由专利局提供。通过参照附图详细描述示范实施例,本领域的技术人员将会清楚地知道特征,附图包括:
图1是变化中表征受验者的组织的示范方法的说明框图;
图2A是图像的时间系列或受验者时间系列的说明图示。图2B是对图像的时间系列或受验者时间系列中的子区域所生成的时间-强度曲线的说明图示;
图3A是具有近似或者以其他方式表征时间-强度曲线的多个示范参数的示范时间-强度曲线;图3B示出包括单独像素的多个强度与时间曲线的样本数据集,其中对时间的强度值包括特征向量;图3C示出来自各种训练序列的像素条目到单个矩阵中的组合;图3D和图3E示意示出像素曲线的分类以及对每个数据样本的标签的指配;图3F示出分类的聚类的最佳数量的确定;
图4是变化中表征受验者的组织的示范方法的说明框图;
图5A是预测临床数据的示范方法的说明框图;图5B是与受验者元数据/临床数据结合使用空间图作为到数据库或注册表中并且进一步在分类神经网络训练中的输入的说明图;图5C是在新数据分类中将本文所述方法和系统用于预测临床数据和/或诊断的说明图;
图6是表征受验者的组织和/或预测临床数据的示范方法的说明框图;
图7是布置用于表征受验者的组织的示范荧光成像系统的说明图示;
图8是布置用于表征受验者的组织的荧光成像系统的示范照射模块的说明图示;
图9是布置用于表征受验者的组织的荧光成像系统的示范照相装置模块;
图10示出对乳腺组织所生成的质心;
图11A至图11F示出方法和系统对修复手术中的乳腺组织的应用;
图12A示出对受验者的足部所生成的质心,以及图12B和图12C示出本文所述方法和系统对足部组织的应用;
图13和图14示出按照实施例的示范训练方法;
图15示出神经网络对基于模型(其如结合图13和图14所述对伤口/组织的荧光图像所训练)来预测伤口的临床数据(治愈时间)的示范使用;以及
图16示意示出按照本文的各个实施例、包括训练和预测临床数据的示例临床应用。
具体实施方式
现在将详细参照本发明的各个方面和变化的实现和实施例,其示例在附图中示出。本文描述各种荧光成像和/或处理系统和方法。虽然描述成像和/或处理系统和方法的至少两个变化,但是荧光成像和/或处理系统和方法的其他变化可包括本文所述的按照具有所述方面的全部或部分的组合的任何适当方式所组合的系统和方法的方面。下面将参照附图更全面地描述示例实施例;但是,它们可通过不同形式来体现,而不应当被理解为局限于本文所述实施例。相反,提供这些实施例,使得本公开将是全面和完整的,并且将使本领域的技术人员全面了解示范实现。本文中描述各种装置、系统、方法、处理器、套件和成像试剂。虽然描述装置、系统、方法、处理器、套件和成像试剂的至少两个变化,但是其他变化可包括本文所述的按照具有所述方面的全部或部分的组合的任何适当方式所组合的装置、系统、方法、处理器、套件和成像试剂的方面。
一般来说,对应或相似参考标号在可能的时候将在附图中通篇用来表示相同或对应部件。
诸如“下面”、“下方”、“下”、“上方”、“上”等的空间相对术语可在本文中为了便于描述而用来描述一个元件或特征与另一个(其他)元件或特征的关系,如图所示。将会理解,空间相对术语意在除了附图所示取向之外还包含使用或操作中的装置的不同取向。例如,如果附图中的装置翻转,则描述为其他元件或特征“下方”或“下面”的元件则定向在其他元件或特征“上方”。因此,示范术语“下方”能够包含上方和下方的取向。装置可以以不同方式定向(旋转90度或者以其他取向),并且本文所使用的空间相对描述符相应地被解释。
本文所述的方法和系统促进获取和生成受验者的组织的视觉表示,其在数据表示方面可以是更为准确的,并且使临床医生用于其临床决策是直观的。本文所述的方法和系统以及所生成的组织的视觉表示可以可适用于各种类型的组织(例如多种伤口,包括慢性、急性、褥疮),并且可提供用于自动分类组织(例如伤口组织)和/或预测临床结果(例如伤口组织的治愈时间线)的框架。
本文所述的方法和系统部分利用机器学习和深度学习。基于机器学习的方法和系统促进解决没有算法解决方案或者解决方案的查找过于复杂的问题。基于组织的成像的医疗诊断和组织表征因人体内发生的生理过程的复杂性质而是特别完全适合于机器学习算法的任务。机器学习能够用来发现大数据集内的医疗相关特征和模式,并且帮助临床医生更准确、更迅速并且更一致地进行医疗诊断,而与临床医生的经验无关。
训练预测模型的精度取决于其输入数据的量和质量。因此,按常规提出的自动伤口分类框架的大部分依靠伤口图像的大数据库,其中样本输入是图像。典型监控机器学习方法依靠用于训练数据生成的数百万加标记数据样本。这造成关于医疗成像数据(例如荧光成像数据)的问题,因为这种数据必须是巨大的并且加标记,以便用于典型监控机器学习中。
此外,数据的质量以及它所包含的有用信息量是关键因素,其确定典型机器学习模型或算法能够学习的良好程度。若干难题随着与成像数据(例如荧光成像数据)结合使用这种模型而发生,包括应对数据集中的缺失值并且选择模型构造的相关特征。其他难题可在学习算法和优化方面发生。例如,如果模型对测试数据集没有良好表现,则必须能够确立失败的原因,并且相应地调整模型,其对医疗成像数据能够是棘手的。本文所述的方法和系统通过利用像素强度的时间维围绕当前机器学习模型的‘大数据需要’进行工作,因而允许只从少量患者的序列来构成训练集合。
另外,通过应用本发明的方法和系统的各个实施例中的聚类机器学习算法,训练数据集能够自动分类,而无需涉及临床专科医生。
利用机器学习来表征受验者的组织的方法
如图1所示,表征受验者的组织的方法100的示例可包括:接收受验者的组织的荧光图像的多个时间系列的数据(112),荧光图像的多个时间系列使用图像捕获/获取装置或系统所捕获/获取或已经捕获/获取;识别与组织的临床特性(114)(例如血管造影曲线的各种特性,包括如本说明书中所述的对时间的原始强度值、最大强度、入口率、出口率、灌注起始时间、动脉/微脉管/静脉相的时长)相关的数据的一个或多个属性;基于数据的一个或多个属性将数据分类为多个聚类,使得同一聚类中的数据相互之间比不同聚类中的数据更为相似(116),其中聚类表征组织;以及生成(基于所分类聚类)组织的表征输出。在一些变化中,与识别步骤相结合的特征向量可用于每一个像素,并且还可包括来自相邻像素的相似特征的组合。识别步骤可以是手动的(例如使用强度与时间值)、自动的(算法辅助,例如经由如本说明书中所述的主成分分析)或者其组合。在其他变化中,该方法还可包括:接收受验者的荧光图像的受验者时间系列的数据(118)(例如经受或者已经经受成像、对其寻求诊断和/或评估的患者所获取/得出的数据);将相应聚类与组织的荧光图像的受验者时间系列中的多个子区域中的每个关联(120);以及基于荧光图像的受验者时间系列中的多个子区域的关联聚类来生成组织的受验者空间图(122)。在一些变化中,该方法还进一步可包括显示受验者空间图(例如图像)(122a)。在本说明书中,“空间图”和/或“受验者空间图”与“聚类图”和/或“受验者聚类图”通篇可互换地使用。在本说明书中,“受验者”通篇包括人类受验者和动物受验者(例如哺乳动物)。
在一些变化中,该方法的至少一部分可由定位成与医疗成像系统分离的计算机系统来执行。例如,接收组织的荧光图像的时间系列(112)、识别数据的一个或多个属性(114)、将数据分类为多个聚类(116)并且还接收荧光图像的受验者时间系列的数据(118)、将相应聚类与荧光图像的受验者时间系列中的多个子区域中的每个关联(120)、生成受验者空间图(122)以及显示受验者空间图(122a)的步骤的部分或全部可由远离临床地点(例如荧光成像系统所在的位置)的非现场位置的计算机系统或者由位于临床环境但是没有包含在成像系统中的计算机系统来执行。在这些变化中,荧光图像的时间系列和/或受验者时间系列可因从数据存储介质(例如硬盘驱动器、云存储等)或者经过网络通信(例如有线连接、因特网、基于适当无线技术标准的无线网络等)的图像数据的传递而被接收。例如,该方法可涉及客户端-服务器架构,使得成像系统可包括客户端硬件,其将图像数据发送给计算服务器,并且将经处理数据(例如本文所述方法的各个步骤的评级图图像或中间输出)又加载到成像系统上。在成像系统中的客户端硬件加载经处理数据之后,成像系统可进一步处理数据,和/或按照本文所述方法显示经处理数据。
在一些变化中,该方法的至少一部分由结合到例如临床地点的医疗成像系统中的计算机系统的一个或多个处理器来执行。例如,捕获/接收组织的荧光图像的时间系列(112)和/或接收荧光图像的受验者时间系列的数据(118)、识别与组织的临床表征相关的数据的一个或多个属性(114)、将数据分类为多个聚类(116)、将相应聚类与荧光图像的受验者时间系列中的多个子区域中的每个关联(120)、生成受验者空间图(122)并且显示受验者空间图(122a)的步骤的部分或全部可由医疗成像系统中的计算机系统来执行。在这些变化的部分中,该方法还可包括在接收荧光图像的时间系列(118)之前生成荧光图像的时间系列(110)。
如上所述,常规医疗成像技术(例如荧光成像技术)提供使临床医生准确评估受验者的组织中的血流和/或组织灌注的有限时机。例如,当视觉评估荧光图像(其捕获染料团经过组织的渡越)时,血流和/或组织灌注的临床医生评估通过与组织的灌注性质无关的参数(例如亮度、图像对比度、图像噪声)所混淆。另外,临床医生对图像的纯粹视觉评估是主观的,并且可逐个临床医生、逐个患者和/或逐个成像会话改变。
本文所述的方法和系统对表征组织、预测临床数据或结果并且按照实现更有效临床决策以进一步促进预测临床结果的方式向用户呈现图像数据是有用的。具体来说,对经受或已经经受医疗成像的受验者(例如患者)按照本文所述方法(例如图1中的122)所生成的受验者空间图(例如图像)可以是空间图,其准确示出图像元素(例如像素(或体素))之间的相对差或者被成像受验者组织的不同区域之间相对临床相关属性的相对差。在一些变化中,受验者空间图(例如图1中的122)可以是关于被成像受验者组织的不同区域在治愈状态、组织性质和/或其他组织条件方面如何改变的可视化。例如,受验者空间图图像可按照由人类易于感知和识别的方式来可视化组织的炎症、恶性肿瘤、疾病或其他异常。如本文进一步描述,这些所生成可视化通过促进用于评估血流和/或组织灌注的标准化协议并且提供跨多个成像会话随时间推移比较和跟踪受验者的评估的方式来降低临床医生主观性的模糊性和影响。因此,这些可视化使临床医生能够进行更一致临床评估和/或医疗治疗判定。
虽然本文中在荧光图像的时间系列和/或受验者时间系列的上下文中描述各个示范变化,但是方法可适用于作为时间系列所生成的图像(其涉及组织中的成像试剂的动态行为,并且用于其他临床目的)的其他来源。例如,图像可从采用血流和组织灌注评估的无线电不透明对比染料的计算机断层扫描(CT)血管造影来得出。作为另一个示例,图像可从使用氟脱氧葡萄糖(PDG)或另一放射性示踪剂的正电子发射断层扫描(PET)来得出,以评估代谢活动并且潜在地评估病理和/或提供可用于评估病理的信息。作为另一个示例,图像可从采用静脉注射到系统循环的气体填充微泡对比剂的使用的对比增强超声成像来得出。使用微泡对比剂的这种超声成像增强超声波的超声后向散射或反射,以便因微泡中的气体与软组织之间的高回音性(即,对象反射超声波的能力)差而产生具有增加对比度的独特声纳图。对比增强超声波能够例如用来对器官中的血液灌注和血流进行成像。
生成组织的图像的时间系列和受验者时间系列及相关数据
在一些变化中,如图1所示,方法100包括在接收时间系列(112)和/或受验者时间系列(118)之前生成组织的荧光图像的时间系列(110)和/或生成受验者组织的荧光图像的受验者时间系列(118a)。荧光图像的时间系列和/或荧光图像的受验者时间系列可通过采用荧光成像试剂(例如作为荧光成像试剂的吲哚菁绿(ICG)染料)的荧光成像技术来生成。ICG在注射到受验者时与血蛋白接合,并且随组织中的血液循环。虽然本说明书中参照荧光试剂或荧光染料,但是根据用来在图像的时间系列和/或图像的受验者时间系列不是基于荧光的变化中生成图像的时间系列的成像技术的类型可使用除了荧光试剂或染料之外的适当成像试剂。
在一些变化中,荧光成像试剂(例如ICG)可按照适当浓度作为团注入来注射到受验者(例如注入静脉、动脉或其他组织中)以供成像。在执行该方法以评估组织灌注的一些变化中,荧光成像试剂可通过注入受验者的静脉或动脉来注射到受验者,使得染料团在脉管系统中循环并且穿过微脉管系统。在使用多个荧光成像试剂的一些变化中,可同时(例如通过单个团)或依次(例如通过独立团)注射这类试剂。在一些变化中,荧光成像试剂可通过导管来注射。在一些变化中,荧光成像试剂可在执行用于生成荧光图像的时间系列和/或受验者时间系列的测量之前不到一小时来注射到受验者。例如,荧光成像试剂可在测量之前不到30分钟来注射到受验者。在其他变化中,荧光成像试剂可在执行测量之前至少30秒来注射。在一些变化中,荧光成像试剂可与执行测量同时注射。
在一些变化中,荧光成像试剂可按照各种浓度来注射,以取得血液中的预期循环浓度。例如,在荧光成像试剂是ICG的组织灌注评估的一些变化中,荧光成像试剂可以以大约2.5 mg/mL的浓度来注射,以取得血液中大约5 μM至大约10 μM的循环浓度。在一些变化中,荧光成像试剂的注射的浓度上限是荧光成像试剂在循环血液中成为临床毒性的浓度,以及浓度下限是用来获取荧光图像的时间系列的仪器检测血液中循环的荧光成像试剂的极限。在一些变化中,荧光成像试剂的注射的浓度上限是荧光成像试剂成为自猝灭的浓度。例如,ICG的循环浓度的范围可从大约2 μM至大约10 mM。
因此,在变化中,该方法可包括荧光成像试剂或其他成像试剂到受验者的注射以及在处理所生成数据之前的荧光图像的时间系列和/或荧光图像的受验者时间系列的生成或获取。在另一个变化中,该方法可不包括将荧光成像试剂或另一成像试剂注射到受验者的任何步骤。例如,荧光图像的时间系列和/或荧光图像的受验者时间系列可基于荧光成像试剂(例如吲朵菁绿(ICG)染料,其已经存在于受验者体内)的测量和/或基于自体荧光响应(例如天然组织自体荧光或诱导组织自体荧光)或者自体荧光和产生于荧光成像试剂的外源荧光的组合的测量。
在一些变化中,适当荧光成像试剂包括一种试剂,其能够随血液而循环(例如荧光染料,其能够随血液的分量(例如血液中的脂蛋白或血清血浆)而循环),并且其在暴露于适当激发光能时发荧光。荧光成像试剂可包括荧光染料、其类似物、其衍生物或者这些的组合。荧光染料可包括任何无毒荧光染料。在一些变化中,荧光成像试剂最佳地发射近红外谱中的荧光。在一些变化中,荧光成像试剂是或者包括三羰花青染料,例如吲哚菁绿(ICG)。在其他变化中,荧光成像试剂是或者包括荧光素异硫氰酸盐、若丹明、藻红蛋白、藻青蛋白、别藻蓝素、邻苯二醛、荧光胺、玫瑰红、台盼蓝、荧光金、绿色荧光蛋白、黄素(例如核黄素等)、亚甲蓝、porphysome、花青染料(例如)、与靶向配体相组合的组织蛋白酶活化Cy5、Cy5.5等)、IRDye800CW、与靶向配体相组合的CLR 1502、与靶向配体相组合的OTL38、亚甲蓝或者其组合,其是使用适合每个成像试剂的激发光波长可激发的。在一些变化中,荧光成像试剂是或者包括亚甲蓝、ICG或者其组合。在一些变化中,可使用荧光成像试剂的类似物或衍生物。例如,荧光染料类似物或衍生物可包括经过化学改性但是仍然保持在暴露于适当波长的光能时发荧光的能力的荧光染料。在荧光的部分或全部从自体荧光得出的变化中,产生自体荧光的荧光体的一个或多个可以是内源组织荧光体(例如胶原蛋白、弹性蛋白、NADH等)、5-氨基乙酰丙酸(5-ALA)或者其组合。
在一些变化中,荧光成像试剂可作为冻干粉末、固体或液体来提供。荧光成像试剂可在小瓶(无菌瓶)中提供,这可准许通过采用无菌注射器注射无菌流体到适当浓度的重组。重组可使用任何适当载体或稀释剂来执行。例如,荧光成像试剂可就在注射之前采用含水稀释剂来重组。可使用将保持溶液中的荧光成像试剂的任何稀释剂或载体。作为示例,ICG可采用水来重组。在一些变化中,一旦重组荧光成像试剂,它可与附加稀释剂和载体相混合。在一些变化中,荧光成像试剂可与另一个分子(例如蛋白质、缩氨酸、氨基酸、合成聚合物或糖)共轭,以便增强可溶性、稳定性、成像性质或者其组合。可选地可添加附加缓冲剂,包括Tris、HC1、NaOH、磷酸缓冲液、HEPES。
本领域的技术人员将会理解,虽然以上详细描述荧光成像试剂,但是其他成像试剂可与本文所述的系统、方法和技术结合使用,这取决于医疗成像形态。
在一些变化中,按照各个实施例的一个或多个并且与本文所述方法、系统和套件结合使用的荧光成像试剂可用于血流成像、组织灌注成像、淋巴成像、胆汁成像或者其组合,其可在有创外科手术、微创外科手术、无创外科手术或者其组合期间执行。有创外科手术(其可涉及血流和组织灌注)的示例包括心脏相关外科手术(例如体外循环或者非体外循环CABG)或者修复外科手术。无创或微创手术的示例包括伤口(例如,慢性伤口,例如褥疮)治疗和/或管理。在这方面,例如,伤口随时间的变化(例如伤口尺寸(例如直径、面积)的变化或者伤口中和/或围伤周围的组织灌注的变化)可通过方法和系统的应用随时间推移来跟踪。淋巴成像的示例包括一个或多个淋巴结、淋巴结引流、淋巴绘图或者其组合的识别。在一些变化中,这种淋巴成像可涉及女性生殖系统(例如子宫、子宫颈、阴户)。
在与心脏应用或任何脉管应用相关的变化中,(一个或多个)成像试剂(例如单独的或者与另一个成像试剂相结合的ICG)可静脉注入,或者可在先前已经静脉注入。例如,成像试剂可经过中心静脉管线、旁路泵和/或心脏停搏管线和/或其他脉管系统静脉注入,以流动和/或灌注冠状脉管系统、微脉管系统和/或移植。ICG可作为稀释ICG/血液/盐水溶液沿移植血管或另一脉管系统来注射,使得取决于应用的冠状动脉或另一脉管系统中的ICG的最终浓度与原本产生于对中心管线或旁路泵中的大约2.5 mg(即,1 ml/ml)的注入相比大致相同或者更低。ICG可通过在10 ml无菌水溶剂(其可由制造商提供有ICG)中溶解例如25 mg的固体来制备。一毫升的ICG溶液可与500 ml的无菌盐水相混合(例如通过将1 ml的ICG注入500 ml的盐水袋中)。30毫升的稀释ICG/盐水溶液可添加到10 ml的受验者血液,这可按照无菌方式从中心动脉管线或旁路泵来得到。血液中的ICG接合到血浆蛋白质,并且促进防止从血管的泄漏。ICG与血液的混合可使用无菌外科手术领域内的标准无菌技术来执行。可对每个移植注射10 ml的ICG/盐水/血液混合物。不是通过使用针头经过移植壁的注入来注射ICG,ICG而是可通过附连到移植的(开放)近端的注射器来注射。当收集移植时,外科医生将适配器例行附连到移植的近端,使得它们能够附连盐水填充注射器,密封移植的远端,并且沿移植注入盐水,从而在执行第一吻合之前对移植加压并且因而评估导管的完整性(相对泄漏、分支等)。在其他变化中,如本文结合心脏成像所述的方法、剂量或者其组合可用于任何脉管和/或组织灌注成像应用中。
淋巴绘图是经过淋巴系统扩散的癌症(例如乳腺、胃、妇科癌症)的有效手术分期的重要部分。实际上,当如果前哨淋巴结对转移为阴性则周围结将最可能也为阴性时,从特定结池的多个结的切除能够导致严重并发症,包括急性或慢性淋巴水肿、感觉异常和/或血清肿形成。肿瘤引流淋巴结(LN)的识别成为例如在例如乳腺癌手术中分期癌症(其经过淋巴系统扩散)的重要步骤。LN绘图涉及染料和/或放射性示踪剂对识别LN以供活检或切除术以及转移的后续病理评估的使用。手术分期时的淋巴结切除术的目标是识别和去除处于癌症的局部扩散的高风险的LN。前哨淋巴结(SLN)绘图作为乳腺癌的治疗中的有效手术策略而出现。它一般基于如下概念:转移(癌症到腋窝LN的扩散)若存在的话则应当位于SLN中,其在本领域定义为癌细胞最可能从原发肿瘤扩散到其中的第一LN或者结编组。如果SLN对转移为阴性,则周围二级和三级LN也应当为阴性。SLN绘图的主要有益效果是减少接收传统部分或完全淋巴结切除术的受验者的数量,并且因而减少遭受关联病状(例如淋巴水肿和淋巴囊肿)的受验者的数量。
SLN绘图的当前护理标准涉及示踪剂(其识别来自原发肿瘤的淋巴引流通道)的注入。所使用的示踪剂可以是采用γ探头的术中定位的放射性同位素(例如锝-99或Tc-99m)。放射性示踪剂技术(称作闪烁法)局限于具有对放射性同位素的访问权的医院,要求涉及核医,而不提供实时视觉导引。还使用彩色染料、即异硫蓝,但是这个染料不能经过皮肤和脂肪组织所看到。另外,蓝色染色引起持续数月的乳房的花纹,皮肤坏死能够随皮下注入而发生,并且已经报导与罕见过敏反应的变应性反应。严重过敏性反应在异硫蓝的注入之后已经发生(患者的大约2%)。表现形式包括呼吸窘迫、休克、血管性水肿、荨麻疹和搔痒症。反应在患有支气管哮喘的历史的受验者或者对三苯甲烷染料具有过敏或药物反应的受验者中更可能发生。异硫蓝已知为干扰由脉搏血氧饱和度仪对氧饱和以及由气体分析器对高铁血红蛋白的测量。异硫蓝的使用可引起短暂或长期(花纹)蓝色着色。
相比之下,供SLN可视化、绘图中使用的按照各个实施例的荧光成像促进术中LN和/或传入淋巴管的直接实时视觉识别,促进经过皮肤和脂肪组织的实时高分辨率光学导引、血流、组织灌注或者其组合的可视化。
在一些变化中,荧光成像期间的淋巴结的可视化、分类或两者可基于一个或多个成像试剂的成像,其可进一步基于采用γ探头的可视化和/或分类(例如,锝-99m是透明无色水溶液,并且通常按标准护理来注入乳晕周围区)、另一个常规使用的彩色成像试剂(异硫蓝)和/或其他评估(例如组织学)。受验者的乳房可例如采用大约1%异硫蓝(以供比较)注入二次并且采用浓度为大约2.5 mg/ml的ICG溶液注入二次。异硫蓝的注入可在ICG的注入之前或者反之。例如,使用TB注射器和30 G针头,被麻醉受验者可在乳房的乳晕周围区中采用0.4 ml(在每个部位0.2 ml)的异硫蓝来注入。对于右乳房,受验者可在12和9点钟位置来注入,以及对于左乳房在12和3点钟位置来注入。异硫蓝到每个乳房的皮内注入的总剂量可以为大约4.0 mg(0.4 ml的1%溶液:10 mg/ml)。在另一个示范变化中,受验者可首先接收ICG注入,之后接着异硫蓝(供比较)。一瓶25 mg的ICG可以就在ICG注射之前与10 ml无菌注射水来重组,以产生2.5 mg/ml溶液。例如,使用TB注射器和30G针头,受验者可在乳房的乳晕周围区中采用大约0.1 ml的ICG(在每个部位0.05 ml)来注入(对于右乳房,注入可在12和9点钟位置执行,以及对左乳房在12和3点钟位置执行)。ICG到每个乳房的皮内注入的总剂量可以为每乳房大约0.25 mg(0.1 ml的2.5 mg/ml溶液)。ICG可例如以每注入5至10秒的速率来注入。当ICG皮内注入时,ICG的蛋白质接合性质使它由淋巴快速吸收,并且经过传导血管移动到LN。在一些变化中,ICG可采取无菌冻干粉末(其包含25 mg ICG,其中具有不超过5%碘化钠)的形式来提供。ICG可封装有由无菌注射水所组成的水溶液,其用来重组ICG。在一些变化中,乳腺癌前哨淋巴绘图中的ICG剂量(mg)的范围可从大约0.5 mg至大约10mg,这取决于注射的路线。在一些变化中,ICG剂量可以为大约0.6 mg至大约0.75 mg、大约0.75 mg至大约5 mg、大约5 mg至大约10 mg。注射的路线可以是例如皮下、皮内(例如到乳晕周围区中)、乳晕下、覆盖肿瘤的皮肤、最靠近肿瘤的乳晕中的皮内、到乳晕中的皮下、肿瘤上方的皮内、整个乳房之上的乳晕周围或者其组合。NIR荧光阳性LN(例如使用ICG)可表示为例如(一个或多个)黑白NIR荧光图像和/或表示为完全或部分彩色(白光)图像、完全或部分去饱和白光图像、增强彩色图像、覆盖图(例如荧光与任何其他图像)、合成图像(例如结合到另一个图像中的荧光)(其可具有各种颜色、去饱和的各种等级或者颜色的各种范围以加亮显示/可视化某些感兴趣特征)。可进一步执行图像的处理,以供进一步可视化和/或其他分析(例如定量)。淋巴结和淋巴管可使用按照各个实施例的荧光成像系统和方法对单独的或者与γ探头(Tc-99m)相结合的ICG和SLN按照乳腺癌患者中的SLN活检的美国乳腺外科医生协会(ASBrS)实践指南来可视化(例如术中实时地)。LN的荧光成像可通过追踪引起腋窝中的LN的淋巴管从注入部位开始。一旦识别LN的视觉图像,LN的LN绘图和识别可经过割开皮肤进行,可执行LN绘图,一直到识别ICG可视化结。为了进行比较,可执行采用异硫蓝的绘图,直到识别‘蓝色’结。采用单独的或者与另一种成像技术(例如异硫蓝和/或Tc-99m)相结合的ICG所识别的LN可加标记以便切除。受验者可具有乳腺癌的各种分期(例如IA、IB、IIA)。
在一些变化中,例如在妇科癌症(例如子宫、子宫内膜、女阴和宫颈恶性肿瘤)中,可间质注射ICG,以供淋巴结、淋巴管或者其组合的可视化。当间质注入时,ICG的蛋白质接合性质使它由淋巴快速吸收,并且经过传导血管移动到SLN。ICG可采取无菌冻干粉末的形式(其包含25 mg ICG(例如25 mg/瓶),其中具有不超过5.0%的典化钠)来提供以供注入。ICG然后可在使用之前采用市场销售注射水(无菌)来重组。按照实施例,包含25 mg ICG的小瓶可在20 ml的注射水中重组,从而产生1.25 mg/ml溶液。总共4 ml的这个1.25 mg/ml溶液将要注入受验者(4×1 ml注入),ICG的总剂量为每受验者5 mg。子宫颈也可采用1%异硫蓝10 mg/ml的1 ml溶液(以供比较)注入四(4)次,总剂量为40 mg。注入可在受验者在手术室中被麻醉的同时执行。在一些变化中,妇科癌症前哨淋巴结检测和/或绘图中的ICG剂量(mg)的范围可从大约0.1 mg至大约5 mg,这取决于注射的路线。在一些变化中,ICG剂量可以为大约0.1 mg至大约0.75 mg、大约0.75 mg至大约1.5 mg、大约1.5 mg至大约2.5 mg、大约2.5 mg至大约5 mg。注射的路线可以是例如宫颈注入、外阴瘤周注入、宫腔镜子宫内膜注入或者其组合。为了使干扰LN将要切除时的绘图过程的异硫蓝或ICG的溢出为最小,绘图可对半骨盆执行,以及采用异硫蓝和ICG的绘图可在任何LN的切除之前执行。临床I期子宫内膜癌的LN绘图可按照子宫肿瘤的NCCN指南(子宫内膜癌的手术分期的SLN算法)来执行;以及临床I级子宫颈癌的SLN绘图可按照宫颈肿瘤的NCCN指南(早期子宫颈癌的手术/SLN绘图算法)来执行。因此,LN的识别可基于单独的或者与比色染料(异硫蓝)和/或放射性示踪剂相结合或者共同注射的ICG荧光成像。
淋巴结的可视化可以是定性和/或定量的。这种可视化可包括例如淋巴结检测、检测速率、淋巴结的解剖分布。按照各个实施例的淋巴结的可视化可单独地或者与其他变量(例如生命特征、身高、体重、人口统计、手术预测因子、相关医疗历史以及基本条件、组织学可视化和/或评估、Tc-99m可视化和/或评估、合并用药)结合地使用。随访可在出院日期以及后续日期(例如一个月)发生。
淋巴流体包括蛋白质的高等级,因而ICG能够在进入淋巴系统时接合到内源蛋白质。当按照本文所述方法和系统使用时的淋巴绘图的荧光成像(例如ICG成像)提供下列示例优点:高信号背景比(或者肿瘤背景比),因为NIR不生成显著自体荧光;淋巴绘图的实时可视化特征;组织定义(即,结构可视化);进入脉管系统之后的快速排泄和消除;以及非电离辐射的避免。此外,NIR成像与可见光(组织的1至3毫米)相比具有优良组织穿透(组织的大约5至10 mm)。例如ICG的使用还促进经过覆盖主动脉旁淋巴结的腹膜的可视化。虽然组织荧光能够采用NIR光来观测延长周期,但是它不能采用可见光来看到,并且因此不影响LN的病理评估或处理。另外,荧光比淋巴结的蓝色染色(异硫蓝)更易于术中检测。在其他变化中,如本文结合淋巴成像所述的方法、剂量或者其组合可用于任何脉管和/或组织灌注成像应用中。
组织灌注涉及每单位组织体积(对其提供氧和养分并且从其中去除废物)的微循环血流,组织的毛细血管床被灌注。组织灌注是与血管中的血流相关但是又不同的现象。经过血管的量化血流可通过定义流量(即,体积/时间)或者定义速度(即,距离/时间)的术语来表达。组织血液灌注定义血液经过组织体积内的微脉管系统(例如微动脉、毛细管或微静脉)的移动。量化组织血液灌注可通过经过组织体积的血流的(即,血液体积/时间/组织体积(或组织质量)的)术语来表达。灌注与营养血管(例如,称作毛细管的微脉管)关联,营养血管包括与血液和组织之间的代谢物的交换关联的脉管,而不是更大直径非营养脉管。在一些实施例中,目标组织的量化可包括计算或确定与目标组织相关的参数或量(例如速率、大小体积、时间、距离/时间和/或体积/时间)和/或变化量(当它涉及先前参数或量的任一个或多个时)。但是,与经过更大直径血管的血液移动相比,经过单独毛细管的血液移动主要因血管舒缩而能够是极不稳定的,其中血管张力中的自发振荡表现为红细胞移动中的脉动。
在一些变化中,在间质注射时,荧光成像试剂(例如ICG)可用于在患有实体瘤(对于其,这个过程是术中管理的成分)的患者中的淋巴绘图期间的子宫颈和子宫中的淋巴结的荧光成像和淋巴管的描绘。荧光试剂(例如ICG)可例如与PINPOINT® 荧光成像系统(从Novadaq Technologies Inc.可得到)配合使用,以执行淋巴绘图期间的术中荧光成像。
在一些变化中,在皮内注射时,荧光成像试剂(例如ICG)可用于在患有实体瘤(对于其,这种过程是术中管理的成分)的患者中的淋巴绘图期间的乳房中的淋巴结的荧光成像和淋巴管的描绘。荧光试剂(例如ICG)可例如与SPY-PHI便携手持成像系统(从NovadaqTechnologies Inc.可得到)配合使用,以执行淋巴绘图期间的术中荧光成像。
在一些变化中,在皮内(包括皮下)注射时,荧光成像试剂(例如ICG)可用于在患有实体瘤(对于其,这个过程是术中管理的成分(例如黑瘤))的患者中的淋巴绘图期间的皮肤组织中的淋巴结的荧光成像和淋巴管的描绘。荧光成像试剂(例如ICG)可例如与SPY®Elite和SPY-PHI便携手持成像系统(从Novadaq Technologies Inc.可得到)配合使用,以执行淋巴绘图期间的术中荧光成像。
在一些变化中,在间质注射时,荧光成像试剂(例如ICG)可用于肢体的原发性和继发性淋巴水肿中的淋巴系造影术期间的淋巴结的荧光成像和淋巴管的描绘。荧光成像试剂(例如ICG)可例如与SPY® Elite和SPY-PHI便携手持成像系统(从Novadaq TechnologiesInc.可得到)配合使用,以执行淋巴绘图期间的术中荧光成像。
在一些变化中,在血管内注射时,荧光成像试剂(例如ICG)可用于脉管和/或器官移植手术期间的血流和组织灌注的荧光成像。荧光成像试剂(例如ICG)可与SPY® Elite、LUNA和SPY-PHI荧光成像系统(从Novadaq Technologies Inc.可得到)配合使用,以执行术中荧光成像(例如血管造影术)。
在一些变化中,在血管内注射时,荧光成像试剂(例如ICG)可用于脉管、胃肠、器官移植、整形、微和/或修复手术(包括普通微创外科手术)期间的血流和组织灌注的荧光成像。荧光成像试剂(例如ICG)可与SPY® Elite、LUNA、SPY-PHI和PINPOINT®荧光成像系统(从Novadaq Technologies Inc.可得到)配合使用,以执行术中荧光成像(例如血管造影术)。
在一些变化中,在血管内注射时,荧光成像试剂(例如ICG)可用于术中胆管造影术期间的胆管的荧光成像。荧光成像试剂(例如ICG)可与PINPOINT® 荧光成像系统(从Novadaq Technologies Inc.可得到)配合使用,以执行这种成像。
一个或多个实施例针对供如本文所述的成像系统和方法中使用的荧光成像试剂。在一个或多个实施例中,使用可包括血流成像、组织灌注成像、淋巴成像或者其组合,其可在有创外科手术、微创外科手术、无创外科手术或者其组合期间发生。荧光试剂可包含在本文所述的套件中。
在一个或多个实施例中,有创外科手术可包括心脏相关外科手术或修复外科手术。心脏相关外科手术可包括心脏冠状动脉旁路移植(CABG)手术,其可以是体外循环和/或非体外循环的。
在一个或多个实施例中,微创或无创外科手术可包括伤口护理手术。
在一个或多个实施例中,淋巴成像可包括淋巴节、淋巴结引流、淋巴绘图或者其组合的识别。淋巴成像可涉及女性生殖系统。
本文所述的方法和过程可通过将要由计算机、处理器、管理程序或控制器所运行的代码或指令或者通过硬件或其他电路来执行。因为详细描述形成方法(或者计算机、处理器或控制器的操作)的基础的算法,所以用于实现方法实施例的操作的代码或指令可将计算机、处理器或控制器变换为用于执行本文所述方法的专用处理器。
另外,另一个实施例可包括用于存储上述代码或指令的计算机可读介质,例如非暂时计算机可读介质。计算机可读介质可以是易失性或者非易失性存储器或另一存储装置,其可以可拆卸或固定地耦合到计算机、处理器或控制器(其运行代码或指令以用于执行本文所述的方法实施例)。
在一些变化中,荧光图像的时间系列和/或荧光图像的受验者时间系列包括多个单独图像帧(例如荧光图像帧)或者表示根据获取时间连续排序的单独帧的数据。例如,荧光图像的时间系列和/或荧光图像的受验者时间系列能够使用荧光成像系统来获取,其中受验者就在手术之前接收ICG的静脉注入,以及组织采用ICG激发波长的光来照射,同时来自染料的所产生荧光发射在渡越目标组织时被成像。荧光图像随后还可作为一系列单独帧或者表示根据其获取时间连续排序的单独帧(例如压缩视频)的数据来存储。
在一些变化中,时间系列的单独图像帧在空间上对齐或配准。例如,可对2至3分钟(在此期间,一些受验者移动可能是不可避免的)记录荧光图像的典型时间系列和/或荧光图像的受验者时间系列。因此,相同解剖特征能够在图像帧(其在图像时间系列获取周期期间的不同时间所获取)中的不同位置出现。由于这类失配能够在后续分析中引入误差,其中每个像素或一组像素的荧光等级随时间推移被跟随。为了帮助减少误差,所生成图像帧可在空间上相互对齐(配准)。在一些变化中,图像配准或对齐表示确定空间变换(其把来自一个图像的点映射到第二图像中的同调点)的过程。
图像配准可以是迭代过程。例如,按照示范实施例,图像配准可使用成分的下列集合的一个或多个:两个输入图像、变换、度量、内插器和优化器。变换将固定图像空间映射到移动图像空间中。要求优化器以研究参数空间,可使用搜索度量的最佳值中的变换的基于洞察分割和注册工具包(ITK)(http://itk.org)的实现。度量包括两个图像相互匹配的良好程度。最后,内插器评估非网格位置的移动图像的强度。为了对齐荧光图像的整个时间系列,这个过程对分析中包含的全部帧来运行。成分经过输入系列帧的范围循环,减去基准校正的背景图像,并且应用降噪滤波器,然后配准图像的连续对。
在一些变化中,荧光图像的多个时间系列和/或荧光图像的受验者时间系列(其包括图像数据)可包括原始数据、预处理数据或者其组合。在一些变化中,荧光图像的时间系列和/或荧光图像的受验者时间系列被预先处理,例如以提取所选数据、计算基准强度、执行图像质量改进过程或者其组合。
所选数据的提取例如可包括裁剪,以便从图像时间系列数据中查找和排除某些数据。例如,在受验者的荧光成像过程期间,操作员可能在荧光图像试剂到达目标组织之前很久开始记录荧光图像的时间系列和/或荧光图像的受验者时间系列。因此,荧光图像的时间系列可能在开头具有相当数量的“暗”帧,因而对没有包含有意义数据的帧增加不必要的计算时间。为了缓解问题,裁剪能够用来从荧光图像的时间系列的开头去除那些“暗”帧。另外,当受验者采用荧光成像试剂(例如ICG)来注入时,来自成像试剂(当它渡越目标组织时)的荧光信号通常经过一系列相继续进行:当成像试剂经过动脉血管进入组织时的荧光强度的快速增加,之后接着当成像试剂穿过微脉管系统时的稳定荧光的周期,然后是因成像试剂的静态流出引起的荧光强度的缓慢降低,之后接着当脉管系统的内层中保留的任何成像试剂被释放到血流中时的残余荧光的周期。这个最后“残余”相能够持续数分钟,以及由于它不是直接指示血流,所以通常不提供有意义灌注信息。因此,裁剪可用来从分析的后续步骤来查找和排除残余相。
在一些变化中,预处理可包括基准强度的计算。例如,当荧光图像的时间系列和/或荧光图像的受验者时间系列由荧光成像系统所生成时,各种外部因素能够促成所记录系列的荧光,例如照相装置噪声、热噪声和/或来自先前注入的残余荧光的存在。为了使这类因素对分析的影响为最小,可对每一个系列计算基准强度,并且可相应地调整数据的分析。
在一些变化中,预处理可包括图像质量验证过程。在例如荧光图像的时间系列的获取太迟开始并且成像试剂到捕获第一帧时已经开始它对目标组织的渡越的实施例中,这种过程可包括起始亮度测试。在这种情形中,荧光图像的时间系列不能可靠地被分析或处理,因为与灌注的开始相关的信息已经丢失。因此,拒绝这种系列数据。
在一些变化中,图像质量验证过程可包括亮度变化测试。例如在图像获取期间突然移动荧光成像系统、外物出现在视场中或者来自外部源的光在捕获该系列的同时照射场景的情况下,可使用这种测试。这些事件全部可使任何后续分析的结果显著失真。相应地,经受这种测试的荧光图像的时间系列可能未通过验证过程(被识别为不适合于进一步处理)。按照示范实施例,亮度变化测试包括荧光图像的时间系列中的相邻帧的平均强度之间的差的计算,并且将它与所选强度差阈值进行比较。为了通过验证,全部连续帧的强度的差必须处于所选强度差阈值所指定的极限之内。
在一些变化中,图像质量验证过程可包括强度峰值位置测试,以检查荧光图像的时间系列的获取尚未过早停止。例如,强度峰值位置测试确保已经获取充分数量的帧,以覆盖经过组织的染料团渡越的全部相。按照示范实施例,荧光强度峰值位置测试包括查找具有最大平均荧光强度的帧,并且检验它不是荧光图像的时间系列中的最后一帧。如果这个条件不合格,则它将是关于荧光强度值尚未达到其最大数并且荧光图像的这种时间系列不适合于进一步分析的强指示。
在一些变化中,图像质量验证过程又可进一步包括最大荧光强度测试。测试的目的是滤出图像太暗(像素的大多数下降到低于预定义阈值)或者过饱和(像素的大多数高于预定义饱和阈值)的荧光图像的时间系列。
组织表面的曲率、图像获取过程期间的过度移动、暗或者过饱和图像、被成像区域内的外物以及外部光或阴影能够影响荧光图像的时间系列和/或荧光图像的受验者时间系列的质量并且因而影响这种图像数据的后续处理。为了缓解问题,可使用设计成使这类问题为最小的良好结构化成像协议和荧光成像系统。
在一些变化中,还可通过应用例如数据压缩、主成分分析、自动编码或者这些方式的组合或者本领域已知的其他预处理来预先处理数据。预处理可根据数据和/或成像应用的类型而改变。在一些变化中,预处理可包括系数、空间位置、起始时间、脸红时间、最大荧光强度、血液入口、血液出口或者其组合的计算。。
与组织的临床表征相关的数据的属性
如图1所示,所示方法包括识别与组织的临床表征相关的数据(例如荧光成像推导数据)的一个或多个属性。在一些变化中,荧光图像的多个时间系列的数据的一个或多个属性(例如图1中的114)包括荧光图像的时间系列中的多个子区域或计算区域的多个时间-强度曲线。每个时间-强度曲线对应于荧光图像的相应子区域或计算区域。在一些变换中,子区域或计算区域的至少一个可以是图像元素,例如单个像素或一组像素、体素或一组体素或者荧光图像的时间系列中的另外某个空间定义区域或体积。每个子区域或计算区域的大小可与全部其他子区域或计算区域是相同的,或者其大小与部分或全部其他子区域或计算区域相比可以是不同的。在一个变化中,一个或多个子区域或计算区域的边界和/或分布可预先定义(例如每个像素或体素的计算区域或者像素的每个2×2编组或体素的2×2×2块的计算区域)。在另一个变化中,一个或多个子区域或计算区域的边界和/或分布可由用户(例如临床医生)来定义。
对于多个子区域或计算区域的部分或全部的每个,可生成单独时间-强度曲线。如图2A和图2B示意所示,与特定子区域或计算区域210(图2A)对应的给定时间-强度曲线212(图2B)描述在组织的荧光图像的整个时间系列在那个子区域或计算区域中观测的荧光信号的强度(即,随时间)。在一些变化中,时间-强度曲线描述全部相(例如血管造影应用中的动脉、微脉管、静脉和残余)、相或者相的组合的子集、全部相的子集或者其导数(包括例如以逐个像素或逐个体素为基础基于与荧光强度的变化关联的第一和第二时间的确定)。时间-强度曲线的全部或部分可由生成组织的荧光图像的荧光成像系统中包含的处理器或者由远离生成荧光图像的荧光成像系统的处理器来生成。
在一些变化中,如图2B所示,时间-强度曲线212包括增加强度的区域、峰值强度的区域、平坦区域、降低强度的区域或者其组合。在荧光成像(例如荧光血管造影)的上下文中,如图3所示,时间-强度曲线312可表示作为一系列相的荧光成像试剂(例如荧光染料)团经过组织的渡越:动脉相、微脉管相、静脉相、残余相或者其组合。
时间-强度曲线(或者其一部分)的形状、时间-强度曲线下的区域或者其组合可指示受验者的组织中的荧光成像试剂的分布、组织中的血流或者其组合。在一些应用中,受验者的组织中的成像试剂的分布表示组织的性质、组织的条件(例如炎症、恶性肿瘤、异常、疾病)或者其组合。
在一些变化中,荧光图像的多个时间系列的数据的一个或多个属性(例如图1中的114)可包括荧光图像的时间系列中的多个子区域或计算区域的如本文所述的时间-强度曲线、系数、空间位置、起始时间、脸红时间、最大荧光强度、血液入口、血液出口或者其组合。在其他变化中,荧光图像的多个时间系列的数据的一个或多个属性可包括相邻像素的份额(例如统计性质)、空间和时间中的强度梯度或者其组合。
在一些变化中,荧光图像的多个时间系列(例如112)可从健康受验者、健康受验者群体、受验者的目标组织中的健康组织区域、受验者的目标组织外部的健康组织区域、这类备选的两个或更多的组合或者在一些变化中考虑荧光图像的时间系列的背景的这类备选的另一组合来得出。此外,荧光图像的时间系列(例如112)可以是特定形态(例如,系统条件、例如糖尿病)、条件、临床上下文或者这些因素的组合(其中评估组织(例如伤口组织))特定的。
数据到聚类中的分类
如图1所示,该方法包括基于数据的一个或多个属性将数据分类为多个聚类,使得同一聚类中的数据相互之间比不同聚类中的数据更为相似,其中聚类表征组织(116)。数据被分类到其中的聚类的数量可对特定应用来优化和确定。在一些变化中,数据到多个聚类中的分类包括将数据分类为所选数量的聚类(例如10个或更少聚类)。
在一些变化中,当接收荧光图像的多个时间系列的数据时,可选择数据的特征向量,每个特征向量表征数据的一个或多个特征,以及可生成包括特征向量的数据集。例如,对于所选成像形态(或者多个形态)(例如慢性伤口、急性伤口、褥疮)、对于所选(一个或多个)解剖特征(例如足部、脚后跟、胫骨、乳房等)或者其组合,用户可选择多个典型场序列(例如大约3-5个),其覆盖大范围的组织条件(例如伤口)及其不同分期。例如,在组织的荧光图像的时间系列中,由于每一个场序列能够被看作是3D数据(2空间维和1时间维),所以能够利用时间维并且使用单独像素的强度与时间曲线(时间-强度曲线)作为用于生成数据集的特征向量。这种方式促进克服通过利用机器学习算法的常规技术所提出的‘大数据’要求。荧光成像系统(例如全部可从Novadaq Technologies Inc.得到的SPY®荧光成像系统、SPY-PHI荧光成像系统、PINPOINT®荧光成像系统和LUNA®荧光成像系统)记录帧序列,其中每个序列能够生成数百万个像素。因此,每一个单独像素(或者如本文所述的计算区域)表示数据集的单个样本,而其随时间的强度值包括特征向量。因此,数据集包括强度与时间曲线的集合,如图3B所示。在一些变化中,如图3C所示,数据集可通过把来自不同训练序列的像素条目组合为单个矩阵来生成。
从荧光成像的时间系列所得出的数据的内插和处理(其中例如时间强度曲线被选择作为与组织的临床表征相关的属性)中的难题之一是查找分类时间强度曲线的准确和一致方式。本领域已知,经过组织的血流和/或灌注的动态与其存活率和治愈可能性直接相互关连。因此,期望确立什么表示大量所观测强度与时间曲线中的有意义差或区别以及什么能够作为噪声被忽略。本文所述的方法和系统去除‘人为因素’,并且因而促进血流和/或灌注模式(其与被成像组织的健康高度相互关连地出现)的识别。
在一些变化中,算法用来分类聚类,这促进查找数据中的自然编组,使得同一聚类中的项相互之间比来自不同聚类的项更为相似。分类包括例如将数据集分为像素曲线的若干不同类别(例如图3D),并且随后为每个数据样本指配其适当标签。为了实现这个方面,可采用已知无监控学习聚类(分区)算法(例如K-means++)。在其他变化中,其他聚类算法能够用来代替K-means,例如具有噪声的应用的基于密度的空间聚类(DBSCAN)或分级聚类(凝聚或分裂)。在一些变化中,每个聚类通过质心来表示(例如图3E)。2维散射图没有示出曲线,它们而是仅用作可视化辅助。取决于应用,可使用这类聚类技术的一个或多个。例如,分级聚类方法可首先用来将受验者分为不同人口统计,以及然后基于密度的聚类可应用于从这类受验者所得出的灌注数据。
无监控学习中的难题之一在于,它没有利用数据集中的标签,与监控学习方式不同,其允许评估模型的性能。因此,为了量化聚类的质量,本征度量可用来比较不同K-means聚类的性能。图形工具(例如所谓的肘部方法)可用来估计给定任务的聚类的最佳数量k。如果k增加,则失真将可能降低,因为样本将更靠近它们所指配的质心。肘部方法背后的思路是识别k的值,其中失真开始最快速增加,如通过绘制k的不同值的失真变得更加清楚。这例如在图3F中示出,其中为了确定什么是曲线类的最佳数量,累积分类误差(失真)对于从1至10的聚类数的范围来计算,并且为了易于可视化而作为图表来绘制。图3F中的图表示出,在达到5-6个聚类之后的失真曲线平稳段。因此,在数据的这个特定示范上下文中,可作出论断,全部基于像素的强度与时间曲线能够以对总体精度的最小影响大致编组为7个不同类别。
在聚类的最佳数量的确定之后,算法可再次使用这个数量作为输入参数来应用于训练集合。算法的输出将是训练模型,其能够预测包括与训练数据集中使用的特征向量相同的属性的任何特征向量的标签(即,聚类ID)。还可轮询模型,以输出用于加标记的质心。在成功生成训练模型之后,它能够用于标记新序列中的像素曲线,因而促进生成表示被成像组织中的曲线分布的伪色空间图(聚类)。
从分类聚类来得出与组织有关的临床相关信息
在一些变化中,聚类本身可提供与组织有关的有价值信息。例如,聚类可基于聚类的空间分布、聚类的性质、聚类数据或者其组合来表征组织。在一些变化中,聚类的性质包括聚类的形状。
在一些变化中,分类聚类可转换为示出聚类的分布的空间图(116a(图1)),并且由此可视化荧光图像的时间系列中的子区域或计算区域之间的任何相对差,其表示荧光图像的时间系列中的多个子区域之间的血流、灌注模式或者其组合的差。因此,分类聚类可示出被成像组织的不同部分之间相对与组织的临床表征相关的数据的一个或多个所识别属性的任何相对差。这可促进按照客观的易于理解方式来加亮显示组织的不同性质(例如生理性质)。如以上进一步描述,因此,分类聚类可促进更有效一致的临床评估和决策。
在一些变化中,聚类的质心值可映射到灰度或色标值(例如8位灰度显示值(例如从0至255)),从而允许质心的灰度图像表示。在一些变化中,为了优化视觉感知,颜色方案能够应用于灰度图像表示,其中不同灰度值范围通过适当对比颜色(例如伪色或伪彩色)所表示。作为补充或替代,可应用其他标度,以便将质心转换为空间图图像的像素值(116a),使得像素值的差反映从其中得出数据的被成像组织的不同区域之间的相对差。
在其他变化中,分类聚类数据可编译为其他形式,包括图形和数学表征、具有特定聚类标签的曲线的百分比的计算、与所构建的空间图(聚类图)有关的统计的计算,包括例如直方图、与标签有关的标准偏差或者其组合。在一些变化中,质心本身可表示特定临床条件(例如静脉闭塞),并且可由临床医生用来诊断特定受验者(其数据与特定质心相互关连)的临床条件。
显示聚类的空间图和其他步骤
在一些变化中,如图1所示,该方法还可包括在显示器上显示空间图图像(116b)。例如,空间图图像可在荧光成像系统中的视频监视器或其他适当显示器上的用户界面内显示。空间图图像可单独地或者与另一个图像(例如覆盖于或者叠加于解剖图像)或其他数据结合显示。这类其他数据可例如涉及受验者或受验者群体的系统或局部条件,从而为那个受验者和/或受验者群体提供特定临床上下文。这种条件可包括共病,包括例如高血压、血脂障碍、糖尿病、慢性阻塞性肺疾病、冠状动脉疾病、慢性肾脏疾病或者其组合。在一些变化中,空间图图像可随与受验者、受验者群体、组织或者其组合相关的其他数据或者元数据来显示,如下面进一步描述。
在一些变化中,该方法还可包括将聚类和/或空间图与临床相关(例如组织灌注相关)条件的风险估计相互关连。这类评估可在干预前、治疗/手术期间和干预后进行。该方法还可包括基于聚类来定义诊断,以便在干预前、治疗/手术期间和干预后识别和表征受验者中的临床相关(例如组织灌注相关)条件。在其他变化中,该方法可不包括相互关连和诊断步骤。
将聚类用于受验者的组织的荧光图像的受验者时间系列或或其他数据的表征
在一些变化中,该方法还包括基于分类数据来训练机器学习模型。在一些变化中,机器学习模型可在机器学习算法中训练。如图1所示,在聚类之后,该方法还可包括接收受验者的荧光图像的受验者时间系列的数据(118),将相应聚类与荧光图像的受验者时间系列中的多个子区域中的每个关联(120),并且基于荧光图像的受验者时间系列中的多个子区域的关联聚类来生成受验者空间图(122)。
受验者空间图的生成可按照与以上结合空间图的生成(116a)所述相似的方式执行。例如,生成受验者空间图可包括基于关联聚类将强度值和颜色中的至少一个指配给荧光图像的受验者时间系列中的每个子区域。
与具有强度/颜色值的宽连续范围的荧光图像的受验者时间系列的未处理数据不同,受验者空间图(例如,图1中的122;图4中的422)基于参数的高度结构化离散集合。因此,任何临床相关流量模式和/或灌注模式可通过训练神经网络(其通常用于图像分类的任务)更易于检测。通过受验者空间图所揭示的流量模式和/或灌注模式能够预测各种临床条件(其原本不是人类观察者显而易见的)。通过对作为输入的大量加标记受验者空间图训练专门设计的神经网络,可构建预测机器学习框架,其能够自动识别被成像组织中的临床相关条件。各种学习模型可用于组织的预测分析(例如伤口治愈时间预测器),包括例如基于信息的学习(决策树及其整体)、基于相似性的学习(k近邻算法)、基于概率的学习(贝叶斯网络)、基于失败的学习(逻辑回归、支持向量机、人工神经网络)或者其组合。
在一些变化中,例如图4所示,示例方法400可用于预测临床数据,其中方法400包括基于关联聚类来生成受验者空间图(例如图4中的步骤410至422,其一般可对应于图1中的步骤110至122),接收与每个受验者空间图关联的元数据(424),在数据库的记录中存储每个受验者空间图及其关联元数据(426)。该方法还可包括将数据库的记录作为输入用于机器学习算法(例如监控机器学习算法),以用于生成预测模型(428)。
在一些变化中,元数据可包括临床数据、非临床数据或者其组合。临床数据可包括例如受验者健康历史(例如共病、抽烟等)、受验者生命统计(例如血压、体温等)、组织异常的诊断、伤口的预测治愈时间、建议治疗方案、与伤口大小/形状关联的机械度量、肉芽组织形成的存在/不存在和性质、伤口和/或围伤的氧合状态、伤口和/或围伤的感染状态或者其组合。非临床数据可包括受验者的年龄、遗传、到访次数或者其组合。在一些变化中,元数据可相对于其他因素(例如取决于每个参数的重要性)相应地加权。此外,在一些变化中,所应用的加权可被调制,因为每个输入更好地了解。
在一些变化中,如图5A的示例方法500中所示,该方法可用于预测临床数据。方法500可包括:接收受验者的荧光图像的受验者时间系列的数据(510),其可如以上结合各个变化所述来生成和处理;以及将按照上述方法所生成的预测模型512用于预测与受验者的荧光图像的受验者时间系列关联的临床数据(514)。图5B以图形方式示出按照本文所述的各种方法所生成的空间图结合受验者元数据对数据库或注册表的生成以及还对神经网络分类模型的生成的使用。因此,如图5C示意所示,新受验者可通过下列步骤来评估:在成像期间生成被评估组织的荧光图像的受验者时间系列;生成如本文所述的受验者空间图;在数据库或注册表中存储这种图;存储从图所得出的各种数据(例如从图所得出的统计数据,例如图中的每个聚类的百分比、其平均/中值/标准偏差、地图直方图或者其组合),其一个或多个则可用作对先前生成/训练分类神经网络模型中的输入,其又建议可能预测结果(例如诊断),以供临床医生考虑,并且帮助促进临床医生进行诊断。在各个实施例中,这种系统不会提供诊断,而是提供潜在建议结果,在其他变化中,这种系统提供诊断。在各个其他变化中,这种系统不会用于促进诊断,而是用于构建空间图的数据库或注册表、从空间图所得出的数据或者其组合。数据库或注册表例如可包括根据组织类型、形态、临床条件所组织的这类数据,其在由用户(例如临床医生)访问时可帮助促进诊断。
因此,在一些变化中,如图6的示例方法600中所示,表征受验者的组织的方法可包括:接收荧光图像的多个时间系列的数据(612);选择数据的特征向量,每个特征向量表征数据的一个或多个特征(614);生成包含特征向量的数据集(616);分类数据集以生成加标记数据集(618);以及生成多个质心(620)。在一些变化中,输出质心还可用于构建新受验者数据的空间(聚类)图,如上所述。在其他变化中,表征受验者的组织的方法可包括接收包含表征多个数据条目的一个或多个特征的多个特征向量的训练数据集,其中每个数据条目是荧光图像的训练时间系列中的训练子区域的时间-强度曲线的至少一部分。
在一些变化中,组织可包括例如健康组织、不健康组织、伤口组织或者其组合。伤口可包括对组织的任何种类的慢性或急性损伤,例如切口、褥疮、静脉曲张性溃疡、动脉性溃疡、糖尿病下肢溃疡、裂伤、擦伤、刺伤、挫伤、撕脱、蛀洞、烧伤、其组合等。此外,伤口可通过各种创伤事件和/或医疗条件的一个或多个所引起,例如挤压伤、战伤(例如枪击/爆炸)或者产生于坏趄、炎症、静脉淤滞、淋巴水肿等。
伤口管理中的一个难题在于,伤口的医疗条件或性质能够根据例如临床医生的技能和经验在临床医生之间以不同方式来查看。按常规,伤口管理技术可提供与伤口的病理历史有关的信息,但是无法提供存活率和/或复原可能性的可靠指示符(例如,伤口和/或围伤是否可能形成并发症、能够治愈、治愈如何发展以及所应用治疗是否有效以及它能够中断的时间)。此外,伤口存在,其中没有病理是通过常规技术可证明的。
按常规,在尝试解决这些难题的一部分中,除了提供视觉显示之外,一些荧光成像技术还可从视频数据来生成度量,以便以数字方式表征伤口中和周围的血流和/或灌注,并且由此尝试降低评估组织血流和/或灌注状态中的主观性和感知偏差。但是,这种数字表征不是通过伤口治愈的基本生物机制的了解来获悉,其是必要的,以便传送允许临床医生进行临床有意义评估的信息。更具体来说,伤口治愈过程期间的血流和/或组织灌注动态的综合了解对这种图像数据产生伤口治愈状态的准确解释是有帮助的。现有荧光成像技术没有结合这种知识,并且因此无法支持用于评估血流和/或组织灌注的标准化协议,以及无法提供组织中的血流/灌注行为的准确表征和分类,其在临床医生之间、患者之间和多个成像会话之间是充分一致的。
在一个变化中,本文所述的方法涉及用于表征目标组织区域中的伤口(例如伤口、围伤)的医疗成像技术。使用本文所述方法所生成的空间图和/或受验者空间图(聚类图)证明解释的简洁性以及相对表征组织的总体精度,这源于所测量信号的质量而不是相关参数的主观人为选择。方法可通过使感兴趣信息的任何削弱为最小来提供增强诊断能力。此外,方法可提供目标组织(例如伤口或围伤)的状态的一致客观表示,其不易受到临床医生的感知和/或技能的偏差。此外,方法可提供跨多个成像会话随时间推移来比较和跟踪受验者的伤口治愈状态(例如基于血流和/或灌注)的可靠一致方式。因此,方法可实现目标组织区域的更准确一致评估以及临床护理策略的目标公式化(例如推荐治疗、治疗效能的监测、确定是否应当中断治疗及其时间、公式化外科手术)。最后,方法还可促进对于对用药敏感的患者降低患者风险,以及降低手术和/或治疗的总成本。
按照各个实施例评估伤口包含灌注动态的评估。例如,本文所述的方法和系统可适用于其他临床应用,例如经受整形重建手术、涉及具有脉管吻合的组织近接的普通外科手术(例如皮瓣转移、结肠重建等)的患者的手术前评估或者心脏手术期间的心脏组织的存活率和功能的评估。此外,本文所述的方法和系统还可适用于任何动态过程的临床评估,例如组织中的成像试剂的组织灌注或其他动态行为,其能够通过从呈现该过程的输入数据(例如图像帧)的时间系列所生成的图像数据的空间图来表示。
从执行该方法并且使用本文所述系统所得出的数据还进一步促进区分目标组织中的多个伤口区域,其可按照不同时间线来形成、发展和/或治愈。
另外,虽然本文中在荧光图像的时间系列的上下文中描述方法的变化,但是该方法可适用于作为时间系列所生成的输入数据(其涉及组织中的成像试剂的动态行为,并且用于其他临床目的,其中目标组织包括具有不同组织性质的区域)的其他来源。示例能够包括来自所激发成像试剂的荧光的检测以及输入数据(例如通过与成像试剂关联的吸收的检测所生成的图像的时间系列)的其他来源。
聚类、空间图、受验者空间图或者其组合的量化
本发明的方法还可包括分类聚类、从聚类所生成的空间图、从荧光图像的受验者时间系列所生成的受验者空间图或者其组合的量化。量化可涉及生成图中的感兴趣区域或者整个图的数值(量化符)。
所生成数值可提供组织(例如伤口)的定量表示。按照实施例,数值可表示组织活动(例如伤口活动值)。数值可随时间而跟踪,这可采取图表形式来表示,其促进得出与速率和斜率有关的信息。数值对时间的图表表示可促进数值对时间的变化(其在一些实施例中可指示组织(例如伤口)的状态或活动随时间的变化)的评估。组织的状态或活动的示例包括组织的性质、组织的条件、组织的治愈状态(例如炎症、恶性肿瘤、异常、疾病)。随时间推移跟踪数值促进跟踪变化率,其例如可与组织治愈(例如伤口治愈)的阶段相互关连。随时间推移跟踪数值还可与血管生成和患者所处的治愈阶段相互关连。此外,与数值随时间的变化相关的信息可提供与可无需损害治愈过程而停止治疗(例如高压氧疗法、负压疗法或者其他已知伤口护理疗法)的点有关的预测信息。因此,数值可提供用于评估组织血流和/或组织灌注的客观标准化协议,其可促进跨多个成像会话随时间推移可靠和一致地比较和跟踪受验者的血流和/或灌注状态,而与临床医生执行评估无关。在一些变化中,数值(量化符)本身在从例如空间图中存在的曲线的各种类别和/或与空间图中的聚类的分布相关的统计或其他参数所得出时可能是复杂的。
在一些变化中,方法还可包括在显示器上显示数值(量化符)。例如,数值可在荧光成像系统中的视频监视器或其他适当显示器上的用户界面内显示。在一些变化中,数值能够单独地或者与本文所述方法的其他步骤的可视化结合使用,以增强传送给临床医生的信息(其促进增强诊断),其还可覆盖在解剖图像之上和/或与其他数据或者与受验者有关的信息(例如患者的系统条件)相互关连。例如,在一些变化中,数值可单独地或者与受验者空间图结合显示(例如122、422)。作为另一个示例,数值可与空间(聚类)图和/或其他适当的图或图像结合显示。在一些变化中,数值可与临床相关(例如灌注相关)条件的风险估计相互关连。这类评估可在干预前、治疗/手术期间和/或干预后进行。方法还可进一步包括定义诊断,以便在干预前、治疗/手术期间和干预后识别和表征受验者中的临床相关(例如灌注相关)条件。在各个其他实施例中,该方法可不包括相互关连和/或诊断步骤。
方法的各个方面采用对各种临床上下文的应用在示例小节中进一步示出。
用于表征组织和/或预测临床数据的系统
按照一些变化的用于表征受验者的组织和/或预测临床数据和/或结果的系统包括用于获取组织的图像的时间系列(例如荧光图像的时间系列)的成像系统以及一个或多个处理器和其上存储指令的存储器,其中指令在由一个或多个处理器运行时使系统执行基本上如上所述的表征组织和/或预测临床数据的方法。
在一些变化中,如本文中结合各个变化所述的用于生成荧光图像的时间系列/受验者时间系列和/或表征受验者的组织和/或预测临床数据的系统是荧光成像系统。图7是荧光成像系统710的示意示例。荧光成像系统710包括:光源712,照射受验者的组织,以引起从受验者的组织中(例如血液中)的荧光成像试剂714的荧光发射;图像获取组合件716,布置用于从荧光发射来生成荧光图像的时间系列和/或受验者时间系列;以及处理器组合件718,布置用于按照本文所述方法的变化的任一个来处理荧光图像的所生成时间系列/受验者时间系列。处理器组合件718可包括:存储器768,其上具有指令;处理器模块762,布置用于运行存储器768上的指令,以便如本文中结合方法的各个实施例所述来处理荧光图像的时间系列和/或受验者时间系列;以及数据存储模块764,存储荧光图像的未处理和/或经处理时间系列和/或受验者时间系列。在一些变化中,存储器768和数据存储模块764可包含在相同存储介质中,而在其他变化中,存储器768和数据存储模块764可包含在不同存储介质中。该系统还可包括显示器766,其上显示图像和其他数据,例如荧光图像的时间系列/受验者时间系列或者其他输入数据、空间图、受验者空间图和/或组织数值(量化符)的部分或全部。
在一些变化中,光源712包括例如照射模块720。照射模块720可包括荧光激发源,其布置用于生成具有适当强度和适当波长的激发光,以用于激发荧光成像试剂714。如图8所示,照射模块720可包括激光二极管822(例如,其可包括例如一个或多个光纤耦合二极管激光器),其布置用于提供激发光,以激发受验者的组织中的荧光成像试剂(未示出)。在各个实施例中可使用的激发光的其他源的示例包括一个或多个LED、弧光灯或者充分强度和适当波长的其他发光技术,以激发组织中的荧光成像试剂。例如,血液中的荧光成像试剂(其中荧光成像试剂是具有近红外激发和发射特性的荧光染料)的激发可使用来自DILASDiode Laser Co(Germany)的一个或多个793 nm、传导冷却、单杆、光纤耦合激光二极管模块来执行。
再次参照图7,在一些变化中,从光源712所输出的光可经过一个或多个光学元件来投射,以便对用来照射感兴趣组织区域的输出进行整形和引导。光学元件可包括一个或多个透镜、光导和/或衍射元件,以便确保图像获取组合件716的基本上整个视场之上的平场。荧光激发源可选择成发射接近荧光成像试剂714(例如ICG等)的吸收最大数的波长。例如,如图8所示,来自激光二极管822的输出824可经过一个或多个聚焦透镜826并且然后经过均质光管828(例如从Newport Corporation(USA)通常可得到的光管)。最后,光可经过光学衍射元件832(即,一个或多个光学扩散器),例如也从Newport Corporation(USA)可得到的磨砂玻璃衍射元件。激光二极管822的电力可通过例如从Lumina Power Inc. (USA)可得到的高电流激光驱动器来提供。激光器可选地可在图像获取过程期间工作在脉动模式。光学传感器(例如固态光电二极管830)可结合到照射模块720中,并且可对照射模块720经由来自各种光学元件的散射或扩散反射所产生的照射强度进行取样。在一些变化中,附加照射源可在感兴趣区域之上对齐和定位模块时用来提供导引。
再次参照图7,在一些变化中,图像获取组合件716可以是荧光成像系统710的组件,其配置成从自荧光成像试剂714的荧光发射来获取荧光图像的时间系列和/或受验者时间系列。图像获取组合件716可包括照相装置模块740。如图9所示,照相装置模块740可通过将成像光学器件(例如946a、946b、948和950)的系统用来收集荧光发射并且将其聚焦到图像传感器组合件944上从组织中的荧光成像试剂来获取荧光发射942的图像。图像传感器组合件944可包括至少一个2D固态图像传感器。固态图像传感器可以是电荷耦合器件(CCD)、CMOS传感器、CID或类似2D传感器技术。产生于图像传感器组合件944所换能的光学信号的电荷通过照相装置模块940中的适当读出和放大电子器件来转换成电视频信号,其包括数字和模拟视频信号。
按照荧光成像系统的示范变化,光源可提供大约800 nm+/-10 nm的激发波长,以及图像获取组合件采用NIR兼容光学器件使用>820 nm的发射波长,以用于例如ICG荧光成像。在示范实施例中,NIR兼容光学器件可包括具有GigE标准接口的CCD单色图像传感器以及相对光学格式和底座格式(例如C/CS底座)与传感器兼容的透镜。
在一些变化中,处理器模块762包括任何计算机或计算部件,例如平板、膝上型、台式、连网计算机或者专用独立微处理器。例如,处理器模块762可包括一个或多个中央处理器(CPU)。在示范实施例中,处理器模块762是具有四个CPU的四核2.5GHz处理器,其中每个CPU是微处理器,例如64位微处理器(例如作为INTEL Core i3、i5或i7或者通过AMD CoreFX系列所营销)。但是,在其他实施例中,处理器模块762可以是任何适当处理器,其中具有任何适当数量的CPU和/或其他适当时钟速度。
处理器模块762的输入可例如取自图9所示的照相装置模块740的图像传感器944、取自图8的照射模块720中的固态光电二极管830和/或取自任何外部控制硬件(例如脚踏开关或遥控)。输出被提供给激光二极管驱动器和光学对齐辅助。如图7所示,在一些变化中,处理器组合件718可具有数据存储模块764,其中具有保存图像的时间系列/受验者时间系列或者表示它们的数据或者对有形非暂时计算机可读介质(例如内部存储器(例如硬盘或闪速存储器))的其他输入数据的能力,以便实现所获取数据的记录和处理。在一些变化中,处理器模块762可具有内部时钟,以实现各种元件的控制,并且确保照射和传感器快门的正确定时。在一些变化中,处理器模块762还可提供用户输入和输出的图形显示。荧光成像系统可选地可配置有视频显示器766或另一监视器,以显示荧光图像的时间系列(当它们被获取或者在记录之后回放时)。作为补充或替代,视频显示器766可视化本文所述方法的执行期间所生成的数据,例如空间图、受验者空间图和/或组织数值。
在图7-9所述的示范系统的操作中,受验者相对于荧光成像系统710来定位,使得感兴趣区域(例如目标组织区域)位于光源712和图像获取组合件716下面,使得光源712的照射模块720产生跨基本上整个感兴趣区域的基本上均匀照射场。在一些变化中,在荧光成像试剂714到受验者的注射之前,可获取感兴趣区域的图像,以便于背景减除。为了获取荧光图像/受验者荧光图像,荧光成像系统710的操作员可通过压下远程开关或脚踏控制或者经由连接到处理器组合件718的键盘(未示出)来发起荧光图像的时间系列/受验者时间系列的获取。因此,光源712接通,并且处理器组合件718开始记录图像获取组合件716所提供的荧光图像数据/受验者荧光图像数据。当工作在实施例的脉动模式时,同步照相装置模块740中的图像传感器944,以收集照射模块720中的二极管激光器822所产生的激光脉冲之后的荧光发射。这样,记录最大荧光发射强度,并且优化信噪比。在这个实施例中,荧光成像试剂714被注射到受验者,并且经由动脉流传递到感兴趣区域。例如在荧光成像试剂714的注射之后不久发起荧光图像的时间系列/受验者时间系列的获取,以及在荧光成像试剂714的整个入口来获取来自基本上整个感兴趣区域的荧光图像的时间系列。来自感兴趣区域的荧光发射通过照相装置模块740的收集光学器件来收集。残余环境和反射激发光通过照相装置模块740中的后续光学元件(例如图9中的光学元件950,其可以是滤波器)来衰减,使得荧光发射能够由图像传感器组合件944以来自其他源的光的最小干扰来获取。
在一些变化中,在荧光图像的时间系列受验者时间系列的获取或生成之后,则可发起处理器组合件718(例如处理器模块762或另一处理器),以运行存储器768中存储的指令,并且执行如本文所述的一个或多个方法。系统710可在显示器766上可视化空间图/受验者空间图和/或从其中得出的任何临床相关性或诊断,或者两者可作为例如灰度或伪色图像向用户显示并且存储以供后续使用。作为补充或替代,系统710可在显示器766上显示组织数值。
在一些变化中,用于表征组织或预测临床数据和/或结果的系统包括:用户界面;处理器,布置用于与用户界面进行通信;以及存储了指令的非暂时计算机可读存储介质,指令在由处理器运行时使处理器执行如本文所述的表征组织和/或预测临床数据的方法的一个或多个。在一些变化中,处理器可以是成像系统的组件。在其他变化中,处理器可位于远离成像系统并且与其通信,其中成像系统可以是上述荧光成像系统或者任何适当成像系统。
其上嵌入计算机可执行(可读)程序代码的有形非暂时计算机可读介质可提供使一个或多个处理器在运行指令时执行本文所述的表征组织和/或预测临床数据的方法的一个或多个的指令。程序代码能够通过任何适当编程语言来编写,并且按照许多形式传递给处理器,包括但不限于例如永久存储在不可写存储介质(例如,只读存储器装置,例如ROM、CD-ROM光盘等)上的信息、可改变地存储在可写存储介质(例如硬盘驱动器等)上的信息、经过通信介质(例如,局域网、例如因特网等的公用网络或者适合于存储电子指令的任何类型的介质)传送给处理器的信息。当携带实现本发明的方法的各个实施例的计算机可读指令时,这类计算机可读介质表示本发明的各个实施例的示例。在各个实施例中,有形非暂时计算机可读介质包括全部计算机可读介质,以及本发明范围并不局限于介质是有形和非暂时的计算机可读介质。
套件可包括本文所述系统的任何部分以及荧光成像试剂,例如荧光染料(例如ICG或者任何适当荧光成像试剂)。在其他方面,套件可包括其上嵌入计算机可执行(可读)程序代码的有形非暂时计算机可读介质,其可提供使一个或多个处理器在运行指令时执行本文所述的表征组织和/或预测临床数据的方法的一个或多个的指令。套件可包括其组件的至少部分的使用的指令(例如使用荧光成像试剂,以用于安装其上嵌入指令的计算机可执行(可读)程序代码等)。在又一些方面,提供一种荧光成像试剂(例如荧光染料),以供本文所述方法和系统中使用。在其他变化中,套件可包括本文所述系统的任何部分或者整个系统以及荧光试剂,例如荧光染料(例如ICG或者任何其他适当荧光试剂或者荧光试剂的组合)。
示例
方法和系统在伤口管理中的应用
伤口管理(例如慢性伤口管理)中的一个难题在于,伤口的医疗条件或性质在临床医生之间能够以不同方式来查看。常规技术可提供与伤口的病理历史有关的信息,但是无法提供存活率和/或复原可能性的可靠指示符,例如伤口和/或围伤是否可能形成并发症、能够治愈或者治愈如何发展(例如实现可接受愈合期的时间)。此外,伤口存在,其中没有病理是通过常规诊断技术可证明的。本文所述的方法和系统的各个实施例促进产生特定组织区域(例如伤口、围伤)的状态的一致表示(对感知偏差不是主观的),并且因而促进护理策略的更准确后续评估和公式化(例如,功效护理的推荐和评估,例如局部治疗、高压氧疗法;组织手术前和手术后的评估;手术策略的公式化、与实现组织的治愈的各期的时间段相关的推荐)。
训练集合1—修复手术中的乳房组织
图10和图11示出按照各个实施例的方法和系统对修复乳房手术的应用。在乳房切除手术的过程中收集数据。患者为46岁女性,其经受采用立即重建的双侧乳房切除术。术后48小时,她被认为具有右乳房的下极的缺血损害。推荐HBOT疗法。荧光血管造影图像(视频)的时间系列借助于SPY® Elite荧光成像系统(从NOVADAQ® Technologies Inc.可得到)来记录。对经受治疗的每个乳房执行三种类型的记录:切开前基准、乳房切除术后和重建后。另外,手术之后一星期拍摄彩色快照,作为评估临床结果的手段。
如结合按照各个实施例的方法和系统所述的第一数据集通过组合乳房的三个不同序列的像素强度曲线来创建。K-means算法然后对这个数据集来训练,以生成具有七个质心(其在图10中示出)的模型。
训练序列的两个和一个新序列随后通过将这个训练模型应用于其像素来加标记。作为最终步骤,通过为每个像素指配与其关联质心(在图10中的质心图表的图例上示出)的颜色对应的颜色,对三个序列生成视觉空间图。图11A、图11B和图11C是初始评估(图11A)以及此后在初始评估之后的1星期(图11B)和3星期(图11C)进行的后续治疗期间的伤口的彩色图像。图11D、图11E和图11F是按照本文所述方法和系统所生成的对应空间(聚类)图。
这个情况证明低灌注伤口的治愈。如图11D、图11E和图11F所示,空间(聚类)图提供与血流和/或灌注有关的细节,其从图11A、图11B和图11C的视觉光图像不是显而易见的。空间(聚类)图图像识别与乳头相邻的区域(采用箭头所示),其中组织与相邻组织相比显著不同(损害)。
HBOT疗法触发血管造影的过程,其首先引起组织的低灌注区域周围的增加血流活动(图11D,箭头)。随着治愈发展,增加流量在伤口内部扩散,如通过具有时间的深蓝区域的折叠以及增加血流和/或灌注(图11E、图11F)所表明。治愈进展通过强度曲线如何从伤口中心向外(即,从深蓝色到天空蓝色到绿色到黄色,其中深蓝区域随着治愈发展最终折叠)逐渐改变在空间(聚类)图中表明。空间(聚类)图指示治愈没有突然发生,而是围绕伤口逐渐对称发生。这种信息从彩色图像(即,图11A、图11B和图11C)的检查不会显而易见。
训练集合2—足部
荧光血管造影图像(视频)的时间系列借助于LUNA®荧光成像系统(从NOVADAQ®Technologies Inc.可得到)来记录。足部的荧光图像的时间系列和足部数据集按照类似于与乳房组织相关的示例的方式来生成。更具体来说,足部数据集通过组合来自足部的三个不同序列的对时间的像素强度数据来创建,然后使用七个聚类和K-means算法来训练。所产生质心在图12A中示出,以及示出伤口的状态的所生成空间图在图12B和图12C中示出。
组织分类的基于通用灌注的伤口标度的生成中的聚类分析的应用
存在许多现有伤口分类系统,包括例如
(i) 神经性溃疡的瓦格纳分类,其根据深度和感染的存在对伤口进行分级,并且具有5个数字等级;
(ii)也用于神经性溃疡的德克萨斯大学方案,其根据深度和感染的存在对伤口进行分级,以及对深度具有4个数字等级并且对感染和缺血具有4个字母等级;
(iii)全国压疮咨询小组分类,其根据颜色、组织损失和腐肉的存在对褥疮进行分级,并且定义6个数字阶段;
(iv)用于动脉机能不全溃疡的卢瑟福和方丹方案,其根据临床呈现对伤口进行分级,并且具有4-6个描述阶段;
(v)静脉机能不全溃疡的CEAP分类,其由单独评分的两个部分组成,以及对部分I具有4个字母阶段并且对部分II具有3个数字阶段。
还存在用于烧伤的特殊分级系统(其根据深度和被影响区域对伤口评级)以及PEDIS系统、DEPA得分和糖尿病足部溃疡的SAD得分。
现存伤口分类系统主要基于对伤口的表面外观进行分级以及其纹理和形态。因此,不同系统对不同伤口病因演进,以便有效地捕获损害组织变化的广谱。因此临床医生可用的许多选项造成关于临床医生应当使用哪一个系统的问题。具有用于相似类型的伤口的描述的若干不同系统具有明显缺点,因此精心设计的通用伤口分类方案是有利的。
本文所述的方法和系统可促进识别独特血流模式,并且将它们与相应类型的伤口相互关连,因而基于基本灌注剖面来创建通用伤口分类系统,以及能够应用于不同伤口病因和严重性。基于这种标度的伤口等级能够与其病因、治愈可能性和最佳治疗相互关连。
经受多种慢性伤口(DFU-s、外伤、外科手术、动脉性溃疡)的治疗的多个患者(-20)借助于LUNA®成像系统(从Novadaq Technologies® Inc.可得到)对5个连续星期(平均)每周被成像。最大强度图从成像会话过程中记录的NIR视频序列来生成(“最大强度图”表示通过为荧光输入图像的时间系列的计算区域中的每个像素指配在整个测量周期期间所达到的最大强度的值),以及伤口消退日期通过主治医生在患者治疗结束时记录。随后,特定成像会话的日期与伤口消退日期之间的时间间隔被计算并且与每一个最大强度图关联。为了生成充分数量的训练和测试样本,表示治愈时间(单位为天)的连续标签通过‘治愈格’的离散类别来取代:“A”—从0至20天的治愈的时间,“B”—从21至80天的治愈的时间,以及“C”—80天以上治愈的时间。所产生的大约100个样本数据集包括最大强度图图像,其各自采用关联‘治愈格’等级(A、B或C)来标记。
对于这个示例,Microsoft Custom Vision基于云的服务(customvision.ai)被选择作为预测器的训练平台。这个工具允许以少至每个类别20-30个训练图像来构建定制图像分类器。为了选择训练样本,使用下列标准:被成像解剖的典型种类(即,足部、腿部、脚后跟、手、腹部)、一些图像中的噪声的存在以及伤口病因的典型种类(例如糖尿病足部溃疡(DFU)、外伤、外科手术)。由于地图使用相同伪色方案来生成,所以这个示例中的图像分类器要求更少训练样本,以便识别与治愈时间相互关连的相关血流模式。在这个示例中,训练过程通过两次迭代执行。首先,最大强度图的所选数量的图像(例如76个)被上传到基于云的服务并且采用其相应‘治愈等级’来标记:11 A-s、45 B-s、20 C-s。在训练之后,分类器的性能使用k折交叉验证对训练集合自动评估,以及准确性/回忆作为分类器的预测能力的量度来生成。如图13所示,分类器在识别等级B中执行最佳,其中对等级A取得最坏得分。这些结果与每个类别的训练样本的数量直接相互关连:对B-s为最高,对A-s为最低。附加标记图像随后上传到训练平台(例如10个附加图像),使得新训练集合总共包含86个图像:13 A-s、49 B-s、24 C-s,并且重新训练分类器。
第二迭代的评估结果在图14中示出,其指示总体得分的改进,其中具有等级A预测的特别显著变化。
为了测试来自图14的迭代2的训练分类器,使用来自具有与每个图像关联的已知‘治愈前天数’度量的单个患者的5个图像的集合。这些图像之前从未被分类器‘看到’,因而允许测量它针对新数据进行一般化的良好程度。图15(连同‘治愈格’标度一起提供)示出为预测所提交的图像、与图像关联的真实数据标签以及通过分类器所预测的标签连同其概率。正确预测的真实数据标签通过蓝色(标记为“正确预测”)示出,而错误预测通过红色(标记为“错误预测”)示出。如通过图15中的结果所示,分类器正确预测除了一个之外的全部标签。此外,如图15所示,第二选择的概率和标签随着治愈沿时间线发展而一致的变化。
例如,图15中的第一样本标记为离开治愈76天,其将它放入B格(80-21天)中,但是极为接近C格(>80天)的边界。虽然分类器将最可能的类别正确预测为B,但是它还指配C标签的31%概率。
图15中的第二样本(自治愈46天)大约在B类别的中间,其由分类器通过对B标签指配99.9%以及作为A或C(分别为9.4%和7.3%)的低许多但几乎相等的概率正确反映。
图15中的第三样本(自治愈39天)误分类为C等级,但是它也对B的正确等级指配较高概率(74.2%)。
图15中的第四样本(自治愈20天)正好位于A与B类别之间的划分边界,以及分类器对两个等级正确地相等指配高概率(对A为95.2%并且对B为94.6%)。
最后,图15中的最后一个样本示出几乎完全治愈的伤口,以及分类器为等级A正确指配极高概率(99.6%)以及对B和C指配极低概率(分别为2.7%和0.3%)。
如本文所述的训练和预测趋势指示训练样本的增加数量和种类以及表示更窄时间间隔的更多标签的引入促进实现对新数据的治愈等级预测的更高精度和一致性。
图16示意示出对荧光图像数据训练分类器并且将训练分类器用于预测临床数据的示范方法2000。如图16所示,分类器可使用本文所述的定制视觉云服务2010来训练。一旦训练分类器的性能达到可接受等级,则训练模型可作为REST API服务2020来部署。使用预测端点的发布URL,客户端应用能够向服务器提交REST API请求,以预测新图像的标签,并且接收具有所产生标签2030的响应,如本文中在各个实施例所述。伤口分类标度(伤口等级)的输出基于自动分类例如组织中的灌注模式并且按照本文所述方法和系统指配与特定等级相互关连的临床观察来生成。本文所例示的伤口分类标度(伤口等级)促进消除观察者/临床医生的主观性(其在全部常规伤口分类方案中是固有的)。除了伤口分类标度之外,基于分类的所建议治疗选项还可提供给临床医生(例如,伤口分类标度数字/字母;病因DFU(置信度80%)和动脉性溃疡(置信度65%);所建议治疗HBOT(40 dives-2/周),Dermacell®(80%),Amputation (50%),不操作(10%))。
示例证明一组独特优点,其能够实际通过在对组织(例如伤口组织)的血流和/或灌注分析的应用中利用机器学习算法来实现。在一些实施例中,对算法的输入数据不取决于血流动态的预处理或详细了解。因此,分析的精度主要取决于所测量信号的质量,而不是取决于相关参数的主观人为选择。此外,机器学习分类和表征结果因‘大数据’处理的优点而不易受到输入信号中的噪声。此外,按照本文中基于机器学习所述的方法和系统所生成的空间图证明解释的简洁性和结果的总体精度。它能够用作对当前实现和有待概念化的视觉图和/或图像的可行替代和/或补充。由于空间图的颜色方案能够易于与表示不同血管造影曲线类的质心关联,所以不需要手动感兴趣(ROI)选择和后续图表生成。通过只查看空间图及其质心的对应颜色图例,用户能够立即评估整个图像区域的血流模式。此外,如结合方法和系统所述,一旦对相关数据集训练聚类模型,它能够存储在任何计算平台上。模型是高度可缩放的,并且能够易于扩大到其他形态(即,整形、MIS、褥疮等)。
本文公开了示例实施例及其可选变化,虽然采用特定术语,但是仅按照通用和描述意义而不是为了进行限制而使用并且理解它们。在一些情况下,如本领域的技术人员清楚地知道,到本申请的提交时为止,结合具体实施例所述的特征、特性和/或元件单独使用或者与结合其他实施例所述的特征、特性和/或元件结合使用,除非另加具体说明。相应地,本领域的技术人员将会理解,可进行形式和细节上的各种变更,而没有背离如以下所述的本发明的精神和范围。
虽然结合详细所示和所述的各个实施例示出和描述本公开,但不是意在局限于所示细节,因为可进行各种修改和结构变更,而绝对没有背离本公开的范围。可进行形式的各种修改、组件的布置、步骤、细节和所示实施例的操作顺序以及本公开的其他实施例,而绝对没有背离本公开的范围,并且是本领域的技术人员参照本描述将清楚知道的。因此预期所附权利要求书将涵盖这类修改和实施例,因为它们落入本公开的真实范围之内。为了清楚和简明描述起见,特征在本文中描述为相同或独立实施例的组成部分;但是将会理解,本公开的范围包括具有所述特征的全部或部分的组合的实施例。对于术语“例如”和“诸如”及其语法等效体,词语“非限制性地”被理解为沿用,除非另加明确说明。如本文所使用的单数形式“一个”和“该”包括复数对象,除非上下文另加明确说明。

Claims (73)

1.一种用于表征受验者的组织的方法,所述方法包括:
接收所述受验者的荧光图像的多个时间系列的数据,荧光图像的所述时间系列由图像捕获系统所捕获或已经捕获;
识别与所述组织的临床表征相关的所述数据的一个或多个属性;
基于所述数据的所述一个或多个属性将所述数据分类为多个聚类,使得同一聚类中的所述数据相互之间比不同聚类中的所述数据更为相似,其中所述聚类表征所述组织;
基于所分类聚类来生成表示所述组织的表征输出;以及
显示所述表征输出。
2.如权利要求1所述的方法,其中,所述受验者的荧光图像的所述多个时间系列的所述数据包括原始数据、预处理数据或者其组合。
3.如权利要求2所述的方法,其中,所述预处理数据通过应用数据压缩、主成分分析、自动编码或者其组合来预先处理。
4.如权利要求1至3中的任一项所述的方法,其中,对所述受验者的荧光图像的所述时间系列中的多个子区域来识别与所述组织的所述临床表征相关的所述数据的所述一个或多个属性。
5.如权利要求4所述的方法,其中,所述子区域的至少一个是荧光图像的所述时间系列中的像素或体素。
6.如权利要求4所述的方法,其中,所述子区域的至少一个是所述受验者的荧光图像的所述时间系列中的一组像素或一组体素。
7.如权利要求1至6中的任一项所述的方法,其中,所述受验者的荧光图像的所述多个时间系列的所述数据的所述一个或多个属性包括时间-强度曲线、系数、空间位置、起始时间、脸红时间、最大荧光强度、血液入口、血液出口或者其组合。
8.如权利要求1至7中的任一项所述的方法,其中,所述聚类基于所述聚类的空间分布、所述聚类的性质、聚类数据或者其组合来表征所述组织。
9.如权利要求8所述的方法,其中,所述聚类的性质包括所述聚类的形状。
10.如权利要求1至9中的任一项所述的方法,其中,每个聚类通过质心来表示。
11.如权利要求10所述的方法,其中,聚类的质心指示所述受验者的荧光图像的所述多个时间系列的所述数据的所述一个或多个属性中的哪一个促成数据分类。
12.如权利要求1至11中的任一项所述的方法,其中,将所述受验者的荧光图像的所述多个时间系列的所述数据分类为所述多个聚类包括将所述数据分类为十个或更少聚类。
13.如权利要求1至11中的任一项所述的方法,其中,将所述受验者的荧光图像的所述多个时间系列的所述数据分类为所述多个聚类包括将所述数据分类为七个聚类。
14.如权利要求1至13中的任一项所述的方法,其中,分类所述受验者的荧光图像的所述多个时间系列的所述数据包括应用无监控聚类算法。
15.如权利要求14所述的方法,其中,所述聚类算法是K-means算法。
16.如权利要求1至15中的任一项所述的方法,还包括基于所述多个聚类来生成空间图。
17.如权利要求16所述的方法,其中,所述空间图表示荧光图像的所述时间系列中的多个子区域之间的血流、灌注模式或者其组合的差异。
18.如权利要求1至17中的任一项所述的方法,还包括基于所述所分类数据来训练机器学习模型。
19.如权利要求18所述的方法,其中,所述机器学习模型通过监控机器学习算法来训练。
20.如权利要求1至19中的任一项所述的方法,还包括下列步骤:
接收所述受验者的荧光图像的受验者时间系列的数据,
将相应聚类与荧光图像的所述受验者时间系列中的多个子区域中的每个关联;
基于荧光图像的所述受验者时间系列中的所述多个子区域的所述关联聚类来生成受验者空间图;以及
显示所述空间图。
21.如权利要求20所述的方法,其中,生成所述受验者空间图包括基于所述关联聚类将强度值和颜色中的至少一个指配给荧光图像的所述受验者时间系列中的每个子区域。
22.一种预测受验者的组织的临床数据的方法,所述方法包括:
接收如权利要求19或20所述所生成的多个受验者空间图,并且接收与每个受验者空间图关联的元数据;
在数据库的记录中存储每个受验者空间图及其关联元数据;以及
将所述数据库的所述记录作为输入用于监控机器学习算法来生成用于表征所述组织的预测模型。
23.如权利要求22所述的方法,其中,所述元数据包括临床数据、非临床数据或者其组合。
24.如权利要求23所述的方法,其中,所述临床数据包括组织异常的诊断、伤口的预测治愈时间、所建议治疗方案或者其组合。
25.一种预测临床数据以表征受验者的组织的方法,所述方法包括:
接收所述受验者的荧光图像的受验者时间系列的数据,所述受验者的荧光图像的所述受验者时间系列由图像获取装置所获取或已经获取;
将如权利要求22至24中的任一项所述的方法所生成的所述预测模型用于预测与所述受验者的荧光图像的所述受验者时间系列关联的临床数据,以表征所述受验者的组织;以及
生成表示所述组织的表征输出。
26.如权利要求22至25中的任一项所述的数据库对预测与所述受验者的荧光图像的所述受验者时间系列关联的临床数据的使用。
27.一种用于表征受验者的组织的方法,所述方法包括:
接收所述受验者的荧光图像的受验者时间系列的数据,所述受验者的荧光图像的所述受验者时间系列由图像获取装置所获取或已经获取;
将相应类别与荧光图像的所述受验者时间系列中的多个子区域中的每个关联,其中所述类别表征所述组织,并且基于与所述组织的临床表征相关的一个或多个属性来定义,使得同一类别中的数据相互之间比不同类别中的所述数据更为相似;
基于荧光图像的所述受验者时间系列中的所述多个子区域的所述关联类别来生成表示所述组织的空间图;以及
显示所述空间图。
28.一种用于表征受验者的组织的方法,所述方法包括:
接收荧光图像的多个时间系列的数据,荧光图像的所述多个时间系列由图像获取系统所获取或已经获取;
选择所述数据的多个特征向量,每个特征向量表征所述数据的一个或多个特征;
生成包含所述特征向量的数据集;
分类所述数据集,以生成加标记数据集;
生成表示所述组织的表征的多个质心;以及
基于所述多个质心来显示所述组织的表征输出。
29.一种用于表征受验者的组织的方法,所述方法包括:
接收包含表征多个数据条目的一个或多个特征的多个特征向量的训练数据集,其中每个数据条目是荧光图像的训练时间系列中的训练子区域的时间-强度曲线的至少一部分,荧光图像的所述时间系列由图像获取系统所获取已经获取。
30. 一种系统,包括:
图像获取装置,布置用于获取荧光图像的时间系列;以及
一个或多个处理器,布置用于:
使所述系统执行如权利要求1至29中的任一项所述的方法。
31.如权利要求30所述的系统,还包括显示器,以显示空间图图像、受验者空间图图像或两者。
32.如权利要求31所述的系统,其中,所述一个或多个处理器还布置用于在所述组织的解剖图像上叠加所述空间图图像、所述受验者图图像或两者。
33.如权利要求30至32中的任一项所述的系统,还包括光源,其提供激发光,以引起从所述组织中的荧光成像试剂的荧光发射。
34.如权利要求30至33中的任一项所述的系统,还包括图像获取组合件,其基于所述荧光发射来生成荧光图像的所述时间系列、荧光图像的所述受验者时间系列或两者。
35.一种用于处理受验者的组织的图像的时间系列的系统,所述系统包括:
用户界面;
处理器,布置用于与所述用户界面进行通信;以及
存储有指令的非暂时计算机可读存储介质,所述指令在由所述处理器执行时使所述处理器执行如权利要求1至29中的任一项所述的方法。
36.如权利要求35所述的系统,其中,所述处理器与成像系统进行通信。
37.如权利要求35所述的系统,还包括成像系统。
38.如权利要求35所述的系统,其中,所述处理器是所述成像系统的组件。
39.如权利要求37至38中的任一项所述的系统,其中,所述处理器布置用于控制所述成像系统的操作。
40.如权利要求37至39中的任一项所述的系统,其中,所述成像系统是荧光成像系统,以及图像的所述时间系列是荧光图像的时间系列。
41. 如权利要求40所述的系统,其中,所述荧光成像系统包括:
照射模块,布置用于照射所述受验者的所述组织,以引起从所述受验者的所述组织中的荧光成像试剂的荧光发射;以及
照相装置组合件,布置用于获取荧光图像的所述时间系列。
42.一种非暂时有形计算机可读介质,其上嵌入有计算机可执行程序代码部件,以执行如权利要求1至29中的任一项所述的方法。
43.一种用于处理受验者的组织的荧光图像的时间系列的套件,所述套件包括如权利要求30至34中的任一项所述的系统和荧光成像试剂。
44.一种荧光成像试剂,供如权利要求1至29中的任一项所述的方法或者如权利要求30至34中的任一项所述的系统中使用。
45.一种荧光成像试剂,供如权利要求1至29中的任一项所述的方法或者如权利要求30至34中的任一项所述的系统中用于伤口管理。
46.如权利要求45所述的荧光成像试剂,其中,所述伤口管理包括慢性伤口管理。
47.如权利要求44或45所述的荧光成像试剂,其中,所述荧光成像试剂包括ICG。
48.如权利要求44或45所述的荧光成像试剂,其中,所述荧光成像试剂是ICG。
49.一种用于可视化血管造影数据的方法,包括下列步骤:
a)接收至少一个时间图像序列,所述至少一个时间图像序列由图像获取系统所获取或已经获取;
b)将所述至少一个时间图像序列分为所述时间图像序列的空间区域的多个时间序列;
c)将空间区域的所述多个时间序列自动分为多个聚类,使得同一聚类中的所述序列相互之间比来自不同聚类的序列更为相似;
d)接收待可视化血管造影图像序列;
e)对于所述血管造影图像序列中的每个像素,确定所述像素的所述时间序列与哪一个聚类对应;以及
f)创建图像,其中按照所述血管造影图像序列中的所述像素位置已被确定为所对应的所述聚类对每个像素指配像素值。
50.如权利要求49所述的方法,其中,所述步骤b)包括对空间区域的每个时间序列来确定表示所述空间区域中的时间图像变化的特征向量。
51.如权利要求49所述的方法,其中,所述特征向量使用降维机器学习算法来确定。
52.如权利要求51所述的方法,其中,所述降维机器学习算法基于主成分分析、自动编码器神经网络或者其组合。
53.如权利要求49至52中的任一项所述的方法,其中,在所述步骤b),空间区域的所述时间序列是所述时间图像序列的所述图像的单独像素的时间序列。
54.如权利要求49至53中的任一项所述的方法,其中,所述步骤c)使用无监控聚类算法来执行。
55. 如权利要求54所述的方法,其中,所述无监控聚类算法包括K-means算法。
56.如权利要求49至53中的任一项所述的方法,其中,所述步骤c)包括
使用无监控聚类算法将空间区域的所述多个时间序列自动分为多个聚类;
将空间区域的所述多个时间序列分为训练数据集和测试数据集;
将所述训练数据集作为输入用于监控机器学习算法,以用于生成预测模型;以及
对所述测试数据集来测试所述预测模型;
其中所述步骤e)包括将所述预测模型用于确定所述像素的所述时间序列与哪一个聚类对应。
57.如权利要求49至56中的任一项所述的方法,其中,所述步骤c)包括基于所述空间区域的强度的时间相关性将空间区域的所述多个时间序列自动分为多个聚类。
58.如权利要求49至57中的任一项所述的方法,其中,所述步骤c)包括基于累积分类误差来确定聚类的所述数量。
59.一种用于可视化血管造影数据的方法,包括下列步骤:
a)检索表示图像的空间区域的强度的不同时间相关性的多个掩码;
b)接收待可视化血管造影图像序列;
c)对于所述血管造影图像序列中的每个像素,确定所述像素的所述时间序列与哪一个掩码最佳地对应;以及
d)创建图像,其中按照所述血管造影图像序列中的所述像素位置已被确定为所对应的所述掩码对每个像素指配像素值。
60.如权利要求59所述的方法,其中,所述多个掩码通过下列步骤来得到:
e)接收至少一个时间图像序列;
f)将所述至少一个时间图像序列分为所述时间图像序列的所述图像的空间区域的多个时间序列;
g)将空间区域的所述多个时间序列自动分为多个聚类,使得同一聚类中的所述序列相互之间比来自不同聚类的序列更为相似;以及
h)对于每个聚类,生成表示那个聚类的空间区域的所述强度的所述时间相关性的掩码。
61.如权利要求60所述的方法,其中,每个掩码表示所述相应聚类的质心的所述强度的所述时间相关性。
62.一种预测临床数据的方法,包括下列步骤:
a)接收如权利要求49至61中的任一项所述所生成的多个血管造影图像可视化;
b)对于每个血管造影图像可视化,在数据库的记录中存储表示它们的数据;
c)对于每个血管造影图像可视化,在所述数据库的相应记录中存储与其关联的临床数据;
d)将所述数据库的所述记录作为输入用于监控机器学习算法,以用于生成预测模型;
e)接收待分析血管造影图像序列;
f)如权利要求49至61中的任一项所述来可视化所述血管造影图像序列;以及
g)将所述预测模型用于预测与所述血管造影图像序列关联的临床数据。
63.一种预测临床数据的方法,包括下列步骤:
a)接收待分析血管造影图像序列,荧光图像的时间系列由图像获取系统所获取或已经获取;
b)如权利要求49至61中的任一项所述来可视化所述血管造影图像序列;以及
c)将预测模型用于预测与所述血管造影图像序列关联的临床数据。
64.如权利要求63所述的方法,其中,所述预测模型通过下列步骤来得到:
d)接收如权利要求49至61中的任一项所述所生成的多个血管造影图像可视化;
e)对于每个血管造影图像可视化,在数据库的记录中存储表示它们的数据;
f)对于每个血管造影图像可视化,在所述数据库的所述相应记录中存储与其关联的临床数据;以及
g)将所述数据库的所述记录作为输入用于监控机器学习算法,以用于生成所述预测模型。
65.如权利要求62至64中的任一项所述的数据库对预测与所述血管造影图像序列关联的临床数据的使用。
66.如权利要求62至64中的任一项所述的预测模型对预测与所述血管造影图像序列关联的临床数据的使用。
67.一种用于创建多个掩码的方法,包括下列步骤:
a)接收至少一个时间图像序列,所述时间图像序列由图像获取系统所获取或已经获取;
b)将所述至少一个时间图像序列分为所述时间图像序列的图像的空间区域的多个时间序列;
c)将空间区域的所述多个时间序列自动分为多个聚类,使得同一聚类中的所述序列相互之间比来自不同聚类的序列更为相似;以及
d)对于每个聚类,生成表示那个聚类的空间区域的强度的时间相关性的掩码。
68.如权利要求67所述的方法,其中,每个掩码表示所述相应聚类的质心的所述强度的所述时间相关性。
69.通过如权利要求67或68所述的方法所得到的多个掩码对可视化血管造影数据的使用。
70.一种用于可视化血管造影数据的系统,包括:
a)第一接收单元,用于接收至少一个时间图像序列,所述时间图像序列由图像获取系统所获取或已经获取;
b)划分单元,布置用于将所述至少一个时间图像序列分为所述时间图像序列的图像的空间区域的多个时间序列;
c)聚类单元,布置用于将空间区域的所述多个时间序列自动分为多个聚类,使得同一聚类中的所述序列相互之间比来自不同聚类的序列更为相似;
d)第二接收单元,用于接收待可视化血管造影图像序列;
e)确定单元,布置用于对于所述血管造影图像序列中的每个像素,确定所述像素的所述时间序列与哪一个聚类对应;以及
f)图像创建单元,布置用于创建图像,其中按照所述血管造影图像序列中的所述像素位置已被确定为所对应的所述聚类对每个像素指配像素值。
71.一种用于可视化血管造影数据的系统,包括:
a)检索单元,用于检索表示图像的空间区域的强度的不同时间相关性的多个掩码;
b)接收单元,用于接收待可视化血管造影图像序列;
c)确定单元,布置用于对于所述血管造影图像序列中的每个像素,确定所述像素的所述时间序列与哪一个掩码最佳对应;以及
d)图像创建单元,布置用于创建图像,其中按照所述血管造影图像序列中的所述像素位置已被确定为所对应的所述掩码对每个像素指配像素值。
72.通过如权利要求67或68所述的方法所得到的多个掩码在如权利要求71所述的系统中的使用。
73.一种用于创建多个掩码的系统,包括:
a)接收单元,用于接收至少一个时间图像序列,所述时间图像序列由图像获取系统所获取或已经获取;
b)划分单元,布置用于将所述至少一个时间图像序列分为所述时间图像序列的图像的空间区域的多个时间序列;
c)聚类单元,布置用于将空间区域的所述多个时间序列自动分为多个聚类,使得同一聚类中的所述序列相互之间比来自不同聚类的序列更为相似;以及
d)生成单元,布置用于对于每个聚类,生成表示那个聚类的空间区域的强度的时间相关性的掩码。
CN201780047115.8A 2016-07-29 2017-07-28 用于利用机器学习来表征受验者的组织的方法和系统 Pending CN109843176A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662368971P 2016-07-29 2016-07-29
US201662368960P 2016-07-29 2016-07-29
US62/368971 2016-07-29
US62/368960 2016-07-29
PCT/CA2017/050912 WO2018018160A1 (en) 2016-07-29 2017-07-28 Methods and systems for characterizing tissue of a subject utilizing machine learning

Publications (1)

Publication Number Publication Date
CN109843176A true CN109843176A (zh) 2019-06-04

Family

ID=61011844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780047115.8A Pending CN109843176A (zh) 2016-07-29 2017-07-28 用于利用机器学习来表征受验者的组织的方法和系统

Country Status (6)

Country Link
US (2) US11096602B2 (zh)
EP (1) EP3490454A4 (zh)
JP (3) JP2019527073A (zh)
CN (1) CN109843176A (zh)
CA (1) CA3021481A1 (zh)
WO (1) WO2018018160A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110277166A (zh) * 2019-06-28 2019-09-24 曾清福 一种宫腹腔镜辅助诊断系统及方法
CN110309734A (zh) * 2019-06-14 2019-10-08 暨南大学 一种基于目标识别的微循环血流速度测量方法及测量系统
CN110398375A (zh) * 2019-07-16 2019-11-01 广州亚美信息科技有限公司 车辆冷却系统工作状态的监测方法、装置、设备和介质
CN111986801A (zh) * 2020-07-14 2020-11-24 珠海中科先进技术研究院有限公司 基于深度学习的康复评定方法、装置及介质
CN112037217A (zh) * 2020-09-09 2020-12-04 南京诺源医疗器械有限公司 一种基于荧光成像的术中血流成像方法
CN112100416A (zh) * 2020-11-09 2020-12-18 南京诺源医疗器械有限公司 一种医学荧光成像影像数据分类云存储系统及其存储方法
CN112107313A (zh) * 2019-06-19 2020-12-22 佳能医疗系统株式会社 医用数据处理装置以及医用数据处理方法
CN112289447A (zh) * 2020-10-30 2021-01-29 四川大学华西医院 一种手术切口愈合等级判别系统
WO2021027152A1 (zh) * 2019-08-12 2021-02-18 平安科技(深圳)有限公司 基于条件生成对抗网络合成图像的方法及相关设备
CN112508896A (zh) * 2020-11-30 2021-03-16 广东欧谱曼迪科技有限公司 一种血供量化评估和表达方法、装置、存储介质和终端
CN113329688A (zh) * 2019-09-18 2021-08-31 拜耳公司 用于预测、预期和/或评估组织特征的系统、方法和计算机程序产品
WO2023035459A1 (zh) * 2021-09-08 2023-03-16 中国科学院深圳先进技术研究院 一种磁共振图像处理方法、终端设备及计算机存储介质

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3212057B1 (en) 2014-10-29 2021-12-01 Spectral MD, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
WO2016123705A1 (en) 2015-02-02 2016-08-11 Novadaq Technologies Inc. Methods and systems for characterizing tissue of a subject
US10789710B2 (en) * 2015-05-15 2020-09-29 Gauss Surgical, Inc. Methods and systems for characterizing fluids from a patient
CA3016468A1 (en) 2016-03-08 2017-09-14 Zebra Medical Technologies, Inc. Non-invasive detection of skin disease
CA3021481A1 (en) 2016-07-29 2018-02-01 Novadaq Technologies ULC Methods and systems for characterizing tissue of a subject utilizing machine learning
US10667776B2 (en) * 2016-08-11 2020-06-02 Siemens Healthcare Gmbh Classifying views of an angiographic medical imaging system
US10248713B2 (en) 2016-11-30 2019-04-02 Business Objects Software Ltd. Time series analysis using a clustering based symbolic representation
WO2018142950A1 (ja) * 2017-02-01 2018-08-09 富士フイルム株式会社 超音波診断装置、超音波診断装置の制御方法及び超音波診断装置の制御プログラム
WO2018160963A1 (en) 2017-03-02 2018-09-07 Spectral Md, Inc. Machine learning systems and techniques for multispectral amputation site analysis
WO2018178212A1 (en) * 2017-03-28 2018-10-04 Koninklijke Philips N.V. Ultrasound clinical feature detection and associated devices, systems, and methods
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
WO2018201082A1 (en) 2017-04-28 2018-11-01 Zebra Medical Technologies, Inc. Systems and methods for imaging and measurement of sarcomeres
US20200129483A1 (en) * 2017-06-30 2020-04-30 Kowa Company, Ltd. Pharmaceutical composition
JP2020530637A (ja) * 2017-08-09 2020-10-22 アレン インスティテュート 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法
JP7217589B2 (ja) * 2018-02-27 2023-02-03 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
JP2019170469A (ja) * 2018-03-27 2019-10-10 テルモ株式会社 リンパ管機能測定装置およびリンパ管機能測定方法
JP7344568B2 (ja) 2018-03-30 2023-09-14 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム
US11386342B2 (en) * 2018-04-20 2022-07-12 H2O.Ai Inc. Model interpretation
US11922283B2 (en) 2018-04-20 2024-03-05 H2O.Ai Inc. Model interpretation
CN110555358B (zh) * 2018-06-01 2023-09-12 苹果公司 用于检测和识别ar/vr场景中的特征部的方法和设备
BR112020025425A2 (pt) * 2018-06-14 2021-03-16 Perfusion Tech Aps Sistema e método para avaliação de perfusão automática, e, método implementado por computador
US11911139B2 (en) 2018-06-14 2024-02-27 Perfusion Tech Aps System and method for automatic perfusion measurement
US10650315B2 (en) 2018-06-14 2020-05-12 International Business Machines Corporation Automatic segmentation of data derived from learned features of a predictive statistical model
WO2020018154A1 (en) * 2018-07-19 2020-01-23 The Regents Of The University Of California Method and system for digital staining of label-free phase images using deep learning
GB201812050D0 (en) 2018-07-24 2018-09-05 Dysis Medical Ltd Computer classification of biological tissue
CN109299315B (zh) 2018-09-03 2023-03-28 腾讯科技(深圳)有限公司 多媒体资源分类方法、装置、计算机设备及存储介质
US11200536B2 (en) * 2018-09-07 2021-12-14 Texas Tech University System Systems and methods for predictively managing collections of items
FR3086951B1 (fr) * 2018-10-05 2021-02-26 Redberry Methode et dispositif pour la detection d'au moins un microorganisme selon sa cinetique de marquage, et support de detection
EP3891697A1 (en) 2018-12-05 2021-10-13 Stryker Corporation Systems and methods for displaying medical imaging data
US10783632B2 (en) * 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds
US10740884B2 (en) 2018-12-14 2020-08-11 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
KR20210099126A (ko) 2018-12-14 2021-08-11 스펙트랄 엠디, 인크. 고정밀도 다중-애퍼쳐 스펙트럼 이미징을 위한 시스템 및 방법
JP7261883B2 (ja) * 2018-12-14 2023-04-20 スペクトラル エムディー,インコーポレイテッド 創傷の評価、治癒予測および治療のための機械学習システム
US11154211B2 (en) * 2019-01-11 2021-10-26 Nokomis, Inc. Tissue damage assessment method and system
EP3719807A1 (en) * 2019-04-04 2020-10-07 Optos PLC Predicting a pathological condition from a medical image
WO2020208554A1 (en) * 2019-04-09 2020-10-15 Transcriptome Sciences Inc. Classifying conditions of native organs using models trained on conditions of transplanted organs
FR3095100B1 (fr) * 2019-04-15 2021-09-03 Continental Automotive Procédé de prédiction d’une qualité de signal et/ou de service et dispositif associé
US11145052B2 (en) 2019-04-25 2021-10-12 International Business Machines Corporation Intelligent classification of regions of interest of an organism from multispectral video streams using perfusion models
US12013962B1 (en) * 2019-07-03 2024-06-18 Intuit Inc. Automatic entry validation using density based clustering
US11276176B2 (en) * 2019-09-04 2022-03-15 International Business Machines Corporation Intelligent boundary delineation of regions of interest of an organism from multispectral video streams using perfusion models
US11972368B2 (en) * 2019-09-20 2024-04-30 International Business Machines Corporation Determining source of interface interactions
KR102068279B1 (ko) 2019-10-04 2020-01-20 주식회사 루닛 이미지 분석 방법 및 시스템
RU2734275C1 (ru) * 2019-10-18 2020-10-14 Павел Вячеславович Грачев Способ диагностики степени кровенаполненности биологических тканей и оценки параметров кровотока и лимфотока
US11669760B2 (en) * 2019-12-17 2023-06-06 Palo Alto Research Center Incorporated Weight assignment for fusion of prognostic estimators
WO2021141742A1 (en) * 2020-01-06 2021-07-15 Paige.Al, Inc. Systems and methods for processing electronic images for computational assessment of disease
WO2021173763A1 (en) * 2020-02-28 2021-09-02 Spectral Md, Inc. Machine learning systems and methods for assessment, healing prediction, and treatment of wounds
US11321620B2 (en) * 2020-03-31 2022-05-03 Panasonic Intellectual Property Management Co., Ltd. Method and system to detect undefined anomalies in processes
CN113470037A (zh) 2020-03-31 2021-10-01 阿里巴巴集团控股有限公司 数据处理方法、装置及系统
JP2023520579A (ja) * 2020-04-06 2023-05-17 ザ ジェネラル ホスピタル コーポレイション 細胞機能をマッピングするためのダイナミック・マイクロ光コヒーレンストモグラフィのシステム及び方法
US20210335498A1 (en) * 2020-04-24 2021-10-28 The Joan and Irwin Jacobs Technion-Cornell Institute Techniques for treating mental health disorders using digital therapeutics
US20210343017A1 (en) * 2020-04-30 2021-11-04 Medtronic, Inc. Post operative implantation site monitoring and medical device performance
CN111413319B (zh) * 2020-04-30 2023-05-26 成都大象分形智能科技有限公司 基于拉曼光谱的复杂低浓度液体样本检测系统
KR102535884B1 (ko) * 2020-05-06 2023-05-24 고려대학교 산학협력단 당뇨병성 합병증 모니터링 장치 및 이를 이용하는 당뇨병성 합병증 관리 시스템
US11622737B2 (en) * 2020-07-21 2023-04-11 Siemens Medical Solutions Usa, Inc. Radiolabeled cell tracking and imaging
US11526703B2 (en) * 2020-07-28 2022-12-13 International Business Machines Corporation GPU accelerated perfusion estimation from multispectral videos
US20220059221A1 (en) * 2020-08-24 2022-02-24 Nvidia Corporation Machine-learning techniques for oxygen therapy prediction using medical imaging data and clinical metadata
CN112232223A (zh) * 2020-10-19 2021-01-15 北京百度网讯科技有限公司 多模态图像处理方法、装置、设备及存储介质
KR102652759B1 (ko) * 2021-09-01 2024-04-01 가톨릭대학교 산학협력단 치과 진단 장치 및 치과 진단을 위한 정보 제공 방법
KR102652766B1 (ko) * 2021-09-29 2024-04-01 가톨릭대학교 산학협력단 치과 진단 장치 및 치과 진단을 위한 정보 제공 방법
WO2023235628A1 (en) * 2022-06-03 2023-12-07 University Of Central Florida Research Foundation, Inc. System to visualize, measure and track skin abnormalities
WO2024015964A1 (en) * 2022-07-14 2024-01-18 SucceedSmart, Inc. Systems and methods for candidate database querying
EP4372680A1 (en) * 2022-11-15 2024-05-22 Quest Photonic Devices B.V. Computer based clinical decision support system and method for determining a classification of a lymphedema induced fluorescence pattern
KR20240080037A (ko) * 2022-11-29 2024-06-05 계명대학교 산학협력단 멀티스펙트럼 광원을 이용한 뎁스 데이터 기반 욕창 진단 시스템 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080101678A1 (en) * 2006-10-25 2008-05-01 Agfa Healthcare Nv Method for Segmenting Digital Medical Image
US20100111396A1 (en) * 2008-11-06 2010-05-06 Los Alamos National Security Object and spatial level quantitative image analysis
JP2013502263A (ja) * 2009-08-18 2013-01-24 ベン‐グリオン ユニバーシティ オブ ザ ネゲヴ リサーチ アンド デベロップメント オーソリティ 撮像データを解析するためのシステムおよび方法
CN104102700A (zh) * 2014-07-04 2014-10-15 华南理工大学 一种面向因特网不平衡应用流的分类方法
US20150004630A1 (en) * 2013-02-25 2015-01-01 Flagship Biosciences, LLC Cell-based tissue analysis
WO2016087589A1 (en) * 2014-12-03 2016-06-09 Ventana Medical Systems, Inc. Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995645A (en) 1993-08-18 1999-11-30 Applied Spectral Imaging Ltd. Method of cancer cell detection
EP2281503B1 (en) 1999-09-24 2015-04-29 National Research Council of Canada Method for performing intra-operative angiography
JP2001104237A (ja) 1999-10-05 2001-04-17 Fuji Photo Film Co Ltd 蛍光判定方法および装置
US6834122B2 (en) * 2000-01-22 2004-12-21 Kairos Scientific, Inc. Visualization and processing of multidimensional data using prefiltering and sorting criteria
JP2001285858A (ja) 2000-01-27 2001-10-12 Fuji Photo Film Co Ltd 画像撮影方法および画像撮影装置
GR1004180B (el) 2000-03-28 2003-03-11 ����������� ����� ��������� (����) Μεθοδος και συστημα χαρακτηρισμου και χαρτογραφησης αλλοιωσεων των ιστων
DE10120980B4 (de) 2001-05-01 2009-12-03 Pulsion Medical Systems Ag Verfahren, Vorrichtung und Computerprogramm zur Bestimmung des Blutflusses in einer Gewebe- oder Organregion
AU2003225508A1 (en) * 2002-05-17 2003-12-02 Pfizer Products Inc. Apparatus and method for statistical image analysis
EP1644867B1 (en) * 2003-04-18 2010-08-11 Medispectra, Inc. A system and diagnostic method for optical detection of suspect portions of a tissue sample
CA2535942A1 (en) * 2003-08-21 2005-03-10 Ischem Corporation Automated methods and systems for vascular plaque detection and analysis
JP4533673B2 (ja) 2004-06-07 2010-09-01 オリンパス株式会社 赤外観察システム及び赤外観察システムによる作動方法
US8320996B2 (en) * 2004-11-29 2012-11-27 Hypermed Imaging, Inc. Medical hyperspectral imaging for evaluation of tissue and tumor
JP5466401B2 (ja) 2005-04-14 2014-04-09 ブラッコ・シュイス・ソシエテ・アノニム 動的灌流画像法に基づく灌流診断法およびそのシステム
JP4842933B2 (ja) 2005-05-20 2011-12-21 株式会社日立メディコ 画像診断装置
US8600125B2 (en) 2005-06-22 2013-12-03 The Research Foundation Of State University Of New York System and method for computer aided polyp detection
US20070016029A1 (en) 2005-07-15 2007-01-18 General Electric Company Physiology workstation with real-time fluoroscopy and ultrasound imaging
DE102005036410A1 (de) 2005-07-29 2007-02-01 Biocam Gmbh Verfahren zur Ermittlung der Sauerstoffpartialdruckverteilung in zumindest einem Gewebeflächenabschnitt, insbesondere Hautgewebeflächenabschnitt
WO2007143141A2 (en) * 2006-06-01 2007-12-13 The General Hospital Corporation In-vivo optical imaging method including analysis of dynamic images
CN101460090B (zh) 2006-06-05 2013-11-20 福思光子学有限公司 表征组织的方法
ES2532595T3 (es) 2006-08-30 2015-03-30 Kyushu University, National University Corporation Composición farmacéutica que contiene una nanopartícula de estatina encapsulada
JP5085086B2 (ja) 2006-10-04 2012-11-28 株式会社トプコン 眼底観察装置、眼底画像表示装置及びプログラム
US8280488B2 (en) 2006-11-24 2012-10-02 Huisman Henkjan J Processing and displaying dynamic contrast-enhanced magnetic resonance imaging information
US8847960B2 (en) 2006-12-21 2014-09-30 Institut Gustave Roussy (Igr) Method and system for quantification of tumoral vascularization
US8170665B2 (en) * 2007-03-23 2012-05-01 The Trustees Of Columbia University In The City Of New York Quantum dot labeled stem cells for use in providing pacemaker function
JP4688954B2 (ja) * 2007-04-18 2011-05-25 国立大学法人 東京大学 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体
US8090168B2 (en) 2007-10-15 2012-01-03 General Electric Company Method and system for visualizing registered images
JP2011509789A (ja) 2008-01-23 2011-03-31 ミカラキス アヴェルキオウ 超音波造影剤を用いる治療評価
US8406860B2 (en) 2008-01-25 2013-03-26 Novadaq Technologies Inc. Method for evaluating blush in myocardial tissue
US10219742B2 (en) 2008-04-14 2019-03-05 Novadaq Technologies ULC Locating and analyzing perforator flaps for plastic and reconstructive surgery
EP3278723A1 (en) 2008-04-14 2018-02-07 Novadaq Technologies Inc. Locating and analyzing perforator flaps for plastic and reconstructive surgery
MX2010012035A (es) 2008-05-14 2011-02-23 Novadaq Technologies Inc Metodos de formacion de imagenes y composiciones que comprenden colorantes fluorescentes asociados con componentes virales para representacion mediante imagenes de los nervios.
JP5244455B2 (ja) 2008-05-21 2013-07-24 Hoya株式会社 内視鏡プロセッサおよび内視鏡システム
US8575314B2 (en) 2008-06-20 2013-11-05 National University Corporation Okayama University Antibody against oxidized LDL/β2GPI complex and use of the same
CN101313847B (zh) 2008-07-01 2010-08-25 北京师范大学 对人体皮肤病变组织进行无损光学常数成像的装置
EP2365779A1 (en) 2008-11-11 2011-09-21 Koninklijke Philips Electronics N.V. Ultrasonic lesion identification using temporal parametric contrast images
WO2010119356A2 (en) 2009-04-15 2010-10-21 Koninklijke Philips Electronics N.V. Clinical decision support systems and methods
US20110071403A1 (en) 2009-09-21 2011-03-24 Board Of Regents Of The University Of Texas System Functional near-infrared fluorescence lymphatic mapping for diagnosing, accessing, monitoring and directing therapy of lymphatic disorders
EP2496946B1 (en) 2009-11-03 2015-07-15 Roche Diagniostics GmbH NT-pro ANP AND sFlt-1 FOR THE DIFFERENTIATION BETWEEN CIRCULATORY AND ISCHEMIC EVENTS
EP2359745A1 (en) * 2010-02-12 2011-08-24 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Method and device for multi-spectral photonic imaging
WO2011112559A2 (en) * 2010-03-08 2011-09-15 Bruce Adams System, method and article for normalization and enhancement of tissue images
US8976931B2 (en) * 2010-04-13 2015-03-10 Carestream Health, Inc. Mobile radiography imaging apparatus using prior related images before current image exposure and methods for same
WO2011140536A1 (en) 2010-05-07 2011-11-10 Purdue Research Foundation Quantitative image analysis for wound healing assay
JP5893564B2 (ja) * 2010-09-10 2016-03-23 オリンパス株式会社 複数の波長帯域の光計測を用いた光分析方法
US8934685B2 (en) 2010-09-21 2015-01-13 General Electric Company System and method for analyzing and visualizing local clinical features
JP5823259B2 (ja) 2010-11-22 2015-11-25 株式会社東芝 医用データ生成装置
US9326698B2 (en) * 2011-02-18 2016-05-03 The Trustees Of The University Of Pennsylvania Method for automatic, unsupervised classification of high-frequency oscillations in physiological recordings
RU2604706C2 (ru) 2011-03-15 2016-12-10 Конинклейке Филипс Н.В. Указатель картирования коррелированных изображений
JP2012198139A (ja) 2011-03-22 2012-10-18 Olympus Corp 画像処理プログラム、画像処理装置、計測解析装置及び画像処理方法
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
DE102012201169A1 (de) 2012-01-27 2013-08-01 Siemens Aktiengesellschaft Automatische Registrierung von Bildpaaren von medizinischen Bilddatensätzen
US20130216482A1 (en) * 2012-02-03 2013-08-22 The Board Of Regents Of The University Of Texas System Methods and compositions for non-invasive, dynamic imaging of intestinal motility
EP2833123A4 (en) 2012-03-30 2015-12-09 Konica Minolta Inc MEDICAL IMAGE PROCESSOR AND PROGRAM
EP2863801B8 (en) 2012-06-21 2024-06-12 Stryker Corporation Quantification and analysis of angiography and perfusion
CN104379062B (zh) 2012-06-22 2017-10-31 皇家飞利浦有限公司 血管造影中的时间解剖靶标记
WO2014024061A1 (en) 2012-08-06 2014-02-13 Koninklijke Philips N.V. Dynamic contrast-enhanced imaging based permeability metric
US20140163403A1 (en) 2012-12-12 2014-06-12 The Texas A&M University System Automated determination of arterial input function areas in perfusion analysis
SG10201707562PA (en) 2013-03-15 2017-11-29 Synaptive Medical Barbados Inc Intramodal synchronization of surgical data
GB201305171D0 (en) * 2013-03-21 2013-05-01 Univ Nottingham Measurement of tissue structures
US9734573B2 (en) 2013-04-17 2017-08-15 The United States Of America, As Represented By The Secretary, Dept. Of Health And Human Services Methods and systems for automatically determining magnetic field inversion time of a tissue species
WO2015001427A2 (en) 2013-06-14 2015-01-08 Novadaq Technologies Inc. Quantification of absolute blood flow in tissue using fluorescence mediated photoplethysmography
US9937011B2 (en) 2013-10-09 2018-04-10 Persimio Ltd Automated patient-specific method for biomechanical analysis of bone
WO2015166503A1 (en) 2014-05-01 2015-11-05 Yeda Research And Development Co. Ltd. Multimodal transcranial brain optical imaging
EP3212057B1 (en) 2014-10-29 2021-12-01 Spectral MD, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
WO2016123705A1 (en) 2015-02-02 2016-08-11 Novadaq Technologies Inc. Methods and systems for characterizing tissue of a subject
WO2016172656A1 (en) 2015-04-24 2016-10-27 Canfield Scientific, Incorporated Dermatological feature tracking over multiple images
JP6707320B2 (ja) 2015-06-01 2020-06-10 キヤノンメディカルシステムズ株式会社 画像処理装置およびx線診断装置
US10874333B2 (en) * 2015-09-15 2020-12-29 Massachusetts Institute Of Technology Systems and methods for diagnosis of middle ear conditions and detection of analytes in the tympanic membrane
WO2017051229A1 (en) 2015-09-23 2017-03-30 Novadaq Technologies Inc. Methods and systems for management of data derived from medical imaging
CA2998699A1 (en) 2015-09-23 2017-03-30 Novadaq Technologies ULC Methods and systems for assessing healing of tissue
CA3021481A1 (en) 2016-07-29 2018-02-01 Novadaq Technologies ULC Methods and systems for characterizing tissue of a subject utilizing machine learning
DE102020111376A1 (de) * 2020-04-27 2021-10-28 Carl Zeiss Meditec Ag Medizinisch optisches System, Datenverarbeitungssystem, Computerprogramm und nichtflüchtiges computerlesbares Speichermedium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080101678A1 (en) * 2006-10-25 2008-05-01 Agfa Healthcare Nv Method for Segmenting Digital Medical Image
US20100111396A1 (en) * 2008-11-06 2010-05-06 Los Alamos National Security Object and spatial level quantitative image analysis
JP2013502263A (ja) * 2009-08-18 2013-01-24 ベン‐グリオン ユニバーシティ オブ ザ ネゲヴ リサーチ アンド デベロップメント オーソリティ 撮像データを解析するためのシステムおよび方法
US20150004630A1 (en) * 2013-02-25 2015-01-01 Flagship Biosciences, LLC Cell-based tissue analysis
CN104102700A (zh) * 2014-07-04 2014-10-15 华南理工大学 一种面向因特网不平衡应用流的分类方法
WO2016087589A1 (en) * 2014-12-03 2016-06-09 Ventana Medical Systems, Inc. Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309734A (zh) * 2019-06-14 2019-10-08 暨南大学 一种基于目标识别的微循环血流速度测量方法及测量系统
CN112107313A (zh) * 2019-06-19 2020-12-22 佳能医疗系统株式会社 医用数据处理装置以及医用数据处理方法
CN110277166B (zh) * 2019-06-28 2020-05-15 屈兴玲 一种宫腹腔镜辅助诊断系统及方法
CN110277166A (zh) * 2019-06-28 2019-09-24 曾清福 一种宫腹腔镜辅助诊断系统及方法
CN110398375A (zh) * 2019-07-16 2019-11-01 广州亚美信息科技有限公司 车辆冷却系统工作状态的监测方法、装置、设备和介质
CN110398375B (zh) * 2019-07-16 2021-10-19 广州亚美信息科技有限公司 车辆冷却系统工作状态的监测方法、装置、设备和介质
US11636695B2 (en) 2019-08-12 2023-04-25 Ping An Technology (Shenzhen) Co., Ltd. Method for synthesizing image based on conditional generative adversarial network and related device
WO2021027152A1 (zh) * 2019-08-12 2021-02-18 平安科技(深圳)有限公司 基于条件生成对抗网络合成图像的方法及相关设备
CN113329688A (zh) * 2019-09-18 2021-08-31 拜耳公司 用于预测、预期和/或评估组织特征的系统、方法和计算机程序产品
CN113329688B (zh) * 2019-09-18 2023-11-28 拜耳公司 用于确定组织体素的特征的方法、系统和计算机可读介质
CN111986801A (zh) * 2020-07-14 2020-11-24 珠海中科先进技术研究院有限公司 基于深度学习的康复评定方法、装置及介质
CN112037217B (zh) * 2020-09-09 2021-04-30 南京诺源医疗器械有限公司 一种基于荧光成像的术中血流成像方法
CN112037217A (zh) * 2020-09-09 2020-12-04 南京诺源医疗器械有限公司 一种基于荧光成像的术中血流成像方法
CN112289447A (zh) * 2020-10-30 2021-01-29 四川大学华西医院 一种手术切口愈合等级判别系统
CN112289447B (zh) * 2020-10-30 2022-03-08 四川大学华西医院 一种手术切口愈合等级判别系统
CN112100416A (zh) * 2020-11-09 2020-12-18 南京诺源医疗器械有限公司 一种医学荧光成像影像数据分类云存储系统及其存储方法
CN112508896A (zh) * 2020-11-30 2021-03-16 广东欧谱曼迪科技有限公司 一种血供量化评估和表达方法、装置、存储介质和终端
CN112508896B (zh) * 2020-11-30 2023-03-28 广东欧谱曼迪科技有限公司 一种血供量化评估和表达方法、装置、存储介质和终端
WO2023035459A1 (zh) * 2021-09-08 2023-03-16 中国科学院深圳先进技术研究院 一种磁共振图像处理方法、终端设备及计算机存储介质

Also Published As

Publication number Publication date
US20180028079A1 (en) 2018-02-01
US11096602B2 (en) 2021-08-24
EP3490454A1 (en) 2019-06-05
US20210251503A1 (en) 2021-08-19
JP2019527073A (ja) 2019-09-26
CA3021481A1 (en) 2018-02-01
EP3490454A4 (en) 2020-08-05
WO2018018160A1 (en) 2018-02-01
JP2023100829A (ja) 2023-07-19
JP2021090763A (ja) 2021-06-17
JP7333351B2 (ja) 2023-08-24

Similar Documents

Publication Publication Date Title
CN109843176A (zh) 用于利用机器学习来表征受验者的组织的方法和系统
Griffiths et al. Indocyanine green-based fluorescent angiography in breast reconstruction
US20240058091A1 (en) Methods and systems to automate surgical interventions
CN105163684B (zh) 手术数据的联运同步
JP2020171727A (ja) 組織の治癒を評価するための方法およびシステム
CN107530452A (zh) 用于表征受试者的组织的方法和系统
Meier et al. Synovitis in patients with early inflammatory arthritis monitored with quantitative analysis of dynamic contrast-enhanced optical imaging and MR imaging
US20210085271A1 (en) Medical-image processing apparatus and medical-image diagnostic apparatus
Thiessen et al. Dynamic InfraRed Thermography (DIRT) in DIEP-flap breast reconstruction: A review of the literature
CN105934199A (zh) 用于处理体腔的医学图像的设备和方法
Pogorzelski et al. Systematic intraoperative application of confocal endomicroscopy for early detection and resection of squamous cell carcinoma of the head and neck: a preliminary report
US11694335B2 (en) Systems and methods for displaying medical imaging data
CN1895185B (zh) 显示检查对象的检查区域和药剂在体内影响的信息的方法
Baljer et al. Advances in image enhancement for sarcoma surgery
Chang et al. Sentinel lymph node detection using fluorescein and blue light-emitting diodes in patients with breast carcinoma: A single-center prospective study
Du et al. Application of imaging in lymphedema surgical therapies
Dupree et al. Validation of quantitative assessment of indocyanine green fluorescent imaging in a one-vessel model
CN100471446C (zh) 早期生理突变预测系统
WO2022033151A1 (zh) 一种基于吲哚菁绿的荧光照相机及其应用
Miwa et al. ICG fluorescence imaging and its medical applications
Han Intraoperative Quantification of Bone Perfusion in Lower Extremity Injury Surgery
JP2024524211A (ja) 異常な灌流パターンを特定するためのシステムおよび方法。
WO2021076003A1 (ru) Способ диагностики степени кровенаполненности биологических тканей и оценки параметров кровотока и лимфотока
CN111445428A (zh) 基于无监督学习的生物活体血管成像数据的增强方法及装置
Tan Innovations in Clinical Diagnostic Imaging.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210112

Address after: Ai Erlankekejun

Applicant after: Stryker Europe Operations Ltd.

Address before: Delaware, USA

Applicant before: Stryker Europe Holdings Ltd.

Effective date of registration: 20210112

Address after: Delaware, USA

Applicant after: Stryker Europe Holdings Ltd.

Address before: Delaware, USA

Applicant before: Stryker Europe Holdings Ltd.

Effective date of registration: 20210112

Address after: Delaware, USA

Address before: Delaware, USA

Applicant before: Stryker Europe Holdings Ltd.

Effective date of registration: 20210112

Address after: Delaware, USA

Applicant after: Stryker Europe Holdings Ltd.

Address before: michigan

Applicant before: Stryker Europe holding LLC

Effective date of registration: 20210112

Effective date of registration: 20210112

Address after: michigan

Applicant after: Stryker Europe holding LLC

Address before: British Columbia

Applicant before: NOVADAQ TECHNOLOGIES ULC

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240423

Address after: michigan

Applicant after: STRYKER Corp.

Country or region after: U.S.A.

Address before: Ai Erlankekejun

Applicant before: Stryker Europe Operations Ltd.

Country or region before: Ireland

TA01 Transfer of patent application right