CN107624192A - 通过内窥镜组织分化的外科引导和术中病理的系统和方法 - Google Patents

通过内窥镜组织分化的外科引导和术中病理的系统和方法 Download PDF

Info

Publication number
CN107624192A
CN107624192A CN201580079855.0A CN201580079855A CN107624192A CN 107624192 A CN107624192 A CN 107624192A CN 201580079855 A CN201580079855 A CN 201580079855A CN 107624192 A CN107624192 A CN 107624192A
Authority
CN
China
Prior art keywords
imaging data
tissue
patient
area
art
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580079855.0A
Other languages
English (en)
Other versions
CN107624192B (zh
Inventor
阿里·卡门
孙善辉
陈德仁
托马索·曼西
亚历山大·米夏埃尔·吉格莱尔
帕特拉·哈拉兰姆帕基
马克西米利安·弗莱舍尔
多林·科马丘尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN107624192A publication Critical patent/CN107624192A/zh
Application granted granted Critical
Publication of CN107624192B publication Critical patent/CN107624192B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

用于图像分类的系统和方法，包括在外科手术期间接收患者的体内或切除组织的成像数据。从成像数据中提取局部图像特征。基于所提取的局部图像特征来计算成像数据的词汇直方图。使用训练的分类器基于词汇直方图来确定成像数据中患者的体内或切除组织的分类，该训练的分类器基于具有确认的组织类型的一组样本图像进行训练。

Description

通过内窥镜组织分化的外科引导和术中病理的系统和方法
背景技术
本发明总体涉及外科引导和组织分化，更具体地涉及通过内窥镜组织分化的外科引导和术中病理。
对于大多数恶性和良性肿瘤在人体中的治疗选择是旨在尝试完全切除肿瘤并保留正常功能组织然后放射化疗的手术。具有残留增生性生长细胞的不完全肿瘤切除增加了相邻治疗复发的风险、降低了生活质量并且提高了死亡风险。肿瘤的诊断和肿瘤边界的定义在手术中主要是基于可视化模式，其中例如外科医生需要有限数量的活检标本，随后通过组织病理学尽可能快地执行检查活检标本以在手术期间提供适当的反馈。不幸的是，由于在样本制备期间存在冻结伪影、机械组织破坏和组织结构改变，术中快速组织病理学通常无法提供充足的信息。此外，采样错误是不准确的另一个来源。只有外科医生能够在术中识别组织细胞结构并将肿瘤组织与正常功能组织区分开来，才能实现最佳手术治疗，即组合了最大的接近完全切除和正常组织的最小损伤。
发明内容
根据实施例，用于图像分类的系统和方法包括在外科手术期间接收患者的体内或切除组织的成像数据。从成像中提取局部图像特征数据。基于所提取的局部图像特征来计算成像数据的词汇直方图。基于使用训练的分类器的词汇直方图来确定成像数据中的患者的体内或切除组织的分类，训练的分类器基于具有确认的组织类型的一组样本图像进行训练。
根据实施例，用于图像配准的系统和方法包括使用术前成像数据和术中成像数据在生物力学模型的逆问题中，从患者的组织的第一区域提取个性化生物力学参数。在术中成像数据中的组织的第二区域的外层与术中成像数据中的组织的第二区域的外层之间识别出对应关系。通过应用借助个性化生物力学参数的生物力学模型，基于所识别的对应关系来确定术前成像数据中组织的第二区域的内层的变形。
根据一个实施例，用于在患者的大脑上进行肿瘤切除的系统和方法包括配准术前成像数据和术中成像数据。显示配准的术前成像数据和术中成像数据。基于显示配准的术前成像数据和术中成像数据，共焦激光内窥镜(CLE)探针被导航到包括肿瘤的体内或切除的脑组织的区域。在肿瘤边界处从CLE探针接收CLE成像数据。将体内或切除的脑组织的区域的分类确定为健康组织和肿瘤组织中的至少一种。显示体内或切除的脑组织的分类用于切除肿瘤。重复确定体内或切除的脑组织的区域的分类以及重复显示体内或切除的脑组织的分类，直到体内或切除的脑组织的分类显示示出具有切除的瘤床的健康组织。
通过参考以下详细描述和附图，本发明的这些和其它优点对于本领域普通技术人员将是显而易见的。
附图说明
图1示出了根据一个实施例的用于图像引导和分类的系统；
图2示出了根据一个实施例的开颅手术后组织变形的说明性图像；
图3示出了根据一个实施例的用于图像分类的高级框架；
图4示意性地示出了根据一个实施例的具有低纹理信息的图像；
图5示意性地示出了根据一个实施例的在术中图像的关注区域内的局部图像特征采样；
图6示出了根据一个实施例的词汇树训练的概述；
图7示出了根据一个实施例的工作站的示例性显示；
图8示出了根据一个实施例的用于图像引导和分类的方法；
图9示出了根据一个实施例的用于基于个性化生物力学模型配准术前成像数据和术中成像数据的详细方法；
图10示出了根据一个实施例的用于对组织进行分类的详细方法；
图11示出了根据一个实施例的用于脑的肿瘤切除手术的高级工作流程；以及
图12示出了根据一个实施例的用于图像引导和分类的计算机的高级框图。
具体实施方式
本发明一般涉及通过内窥镜组织分化的外科引导和术中病理。本文描述了本发明的实施例以给出对外科引导和组织分化方法的视觉理解。数字图像通常由一个或多个对象(或形状)的数字表示组成。本文通常在识别和操纵对象方面描述对象的数字表示。此类操作是在计算机系统的存储器或其他电路/硬件中实现的虚拟操作。因此，应当理解，可以使用存储在计算机系统内的数据在计算机系统内执行本发明的实施例。
进一步地，应当理解，虽然可以关于患者的脑上的肿瘤切除来论述本文所论述的实施例，但是本原理并不限于此。本发明的实施例可用于任何手术或任何受治疗者(例如，机械系统、管道系统等)的引导和分类。
图1示出了根据一个或多个实施例的用于图像引导和分类的系统100。系统100可以用于在医疗(例如外科)手术(或任何其他类型的手术)，诸如开颅手术中提供外科引导。系统100可以位于混合手术室环境中，其中在手术过程中容易获得图像获取装置。系统100的元件可以位于(例如，在混合手术室环境或设施内)或位于远处(例如，在设施的不同区域或不同的设施处)。
系统100包括用于在外科手术期间帮助用户(例如外科医生)的工作站102。工作站102包括通信地耦合到数据存储装置122、显示装置126和输入/输出装置128的一个或多个处理器124。当在处理器124上执行时，数据存储装置122存储表示工作站102的功能的多个模块。应当理解，工作站102还可以包括附加元件，诸如例如通信接口。
工作站102接收研究对象120的关注区域118(例如患者)的术前成像数据104。在关注区域118的手术之前获取术前成像数据104。术前成像数据104可以是任意模式或模式的组合，诸如计算机断层摄影(CT)、磁共振成像(MRI)、单光子发射计算机断层摄影(SPECT)、正电子发射断层摄影(PET)等。术前成像数据104包括高分辨率成像数据，诸如例如图像、视频或任何其它成像数据。关注区域118可以包括目标对象，诸如患者的组织(例如肿瘤组织)以及其他关键结构。患者的组织可以是体内组织或切除组织(例如，活检组织)。在一些实施例中，术前成像数据104还包括术前规划信息。例如，术前成像数据104可以被注释并被标记为计划步骤的一部分。在一个示例中，术前成像数据104被标记以指示要避免的肿瘤边缘和重要的解剖结构。可以通过从存储器或计算机系统的存储装置加载研究对象120的先前存储的成像数据来接收术前成像数据104。
工作站102还从研究对象120的关注区域118的图像获取装置106接收术内成像数据108。在手术的初始阶段期间获取术内成像数据108，以提供关注区域118的完整映射。图像获取装置106可以具有任意模式或组合的模式，例如MRI、CT、锥形束CT等。图像获取装置106还可以采用一个或多个探针(未示出)。
工作站102还从研究对象120的关注区域118的图像获取装置134接收微观成像数据136。在手术期间可以实时地接收微观成像数据136。在一些实施例中，图像获取装置134可以使用一个或多个探针114用于成像研究对象120的关注区域118。在一个实施例中，探针114是内窥镜探针，诸如共聚焦激光内窥镜(CLE)探针。CLE是一种在细胞和亚细胞水平上实时提供组织的微观信息的成像技术。
探针114可以装备有作为导航系统110的一部分的跟踪装置116，用于跟踪探针114尖端在术中成像坐标系中的位置。跟踪装置116可以包括光学跟踪装置、电磁(EM)跟踪装置、机械跟踪系统或任何其它合适的跟踪装置。探针114还可以包括一个或多个成像装置(例如，照相机、投影仪)以及其它外科设备或装置，诸如吹气装置、切口装置或任何其它装置。在一些实施例中，可以使用结合导航系统110的微型机器人或微操纵器跟踪和操纵探针114。图像获取装置106经由连接112可通信地耦合到探针114，该连接可包括电连接、光连接、用于吹气的连接(例如导管)或任何其他合适的连接。
在一个实施例中，可以在初始(例如，未变形)状态下获取关注区域118的术前成像数据104，而可以在相对变形的状态下获取关注区域118的术中成像数据108和微观成像数据136。例如，术前成像数据104可以包括在开颅手术之前所获取的患者的脑的成像数据，而术中成像数据108和微观成像数据136可以包括在开颅后所获取的患者的脑的成像数据(即，颅骨开放后)。由于压力的变化(相对于颅骨打开之前)，颅骨的打开可能引起脑结构的移位或变形(例如，肿瘤和关键解剖结构)。变形的其它来源包括研究对象120的自然运动(例如，呼吸)、充气、由于器械或装置引起的移位等。这些变形可以位于腹部肝脏、肾脏或研究对象120的任何其他位置。
配准模块130经配置以在补偿用于关注区域118的变形的同时对术前成像数据104和术中成像数据108进行配准或融合。配准模块130使用模拟或模仿器官(例如脑)的运动的生物力学模型来计算关注区域118的变形和偏移。在一个实施例中，生物力学模型包括脑的连续力学模型，其中可以从术前成像数据104和术中成像数据108内的已知对应关系的稀疏集合推断出整个结构的变形。
图2示例性地示出了根据一个或多个实施例的由于开颅手术引起的变形之前和之后的脑组织的图像200。图像202示出了在开颅手术之前的术前图像(例如，术前成像数据104)，并且图像204示出了在开颅手术之后的术内图像(例如，术内成像数据108)。图像200描绘了区域206和区域208的顶部(在虚线上方示出)中的皮质区域(或外层区域)以及区域206和区域208的下部(在虚线下方示出)中的皮质下区域(或内层区域)。
由于获取术中图像204的图像获取装置106的特性是先前已知的，所以检测某些皮质下结构的成像精度的知识也是已知的。这些区域是用于估计个性化生物力学参数的主要区域。例如，可以在生物力学模型的逆问题中使用边界变形和内部基于体素的变形，以提取均匀和/或非均匀的组织性质。例如，组织性质可以包括组织弹性和泊松比。在另一个示例中，可以使用术前扩散张量MRI以估计沿着纤维的材料各向异性。区域206表示来自图像获取装置106的术中成像数据108具有较高的皮质下区域成像精度的区域，而区域208表示图像获取装置106具有相对较低的皮质下区域成像精度的区域。
从具有较高成像精确度的皮质下区域的区域206提取个性化(或患者特定的)生物力学参数。在一个实施例中，解决生物力学模型的逆问题以提取个性化生物力学参数。在逆问题中，生物力学模型被应用于使用标准(例如，基于名义或基于群体的)生物力学参数来使术前图像202的区域206变形。生物力学参数可以包括例如组织性质，诸如组织弹性和泊松比。也可以采用其它参数。在一些实施例中，生物力学参数可以基于术前图像202来确定。
使用例如相似性测量将术前图像202中的变形区域206与术中图像204的区域206中的实际观察到的变形进行比较。相似性测量可以使用已知的方法执行。相似性测量结果用于更新生物力学模型的参数。可以迭代地重复该过程(例如，持续预定次数，直到相似性测量结果被最大化或大于阈值)，以从区域206生成个性化生物力学参数。
一旦从区域206提取了个性化生物力学参数，则识别或建立术前图像202的区域208的皮质层(即脑的外层)之间的对应关系。使用基于对应关系和个性化生物力学参数的生物力学模型来使术前图像202变形，以配准术前图像202和术中图像204。例如，可以在图像术前和术中图像两者中脑脊之间(即，界面在灰质和脑脊髓液之间)建立皮质对应关系。术中图像204可以包括其中捕获脑表面的拓扑的超声或表面成像。
基于患者特定的基于生物力学模型的配准，可以从术中图像204推断术前图像202的内层(例如，皮质下层)中的结构(例如，肿瘤)的位置。由于术前图像202与术中图像204相比具有更丰富的信息，所以潜在的原因是主要的。
在一个实施例中，为了进一步改善配准的精度，可以采用肿瘤生长模型以估计浸润细胞的程度，渗透细胞会因此局部改变生物力学模型的组织性质。可以使用例如反应扩散方案来模拟肿瘤生长，其中反应项对应于细胞增殖，并且扩散项对应于肿瘤细胞的增生。如果纵向数据可用，则可以估计肿瘤生长模型的参数以拟合观察到的肿瘤生长。如果只有一个时间点可用，则可以采用PET/SPECT数据以估计模型的增生速率参数并推断浸润细胞的程度。在浸润细胞的区域中，生物力学模型被相应地修改，并且应用于术前图像202的变形。
工作站102可以使用显示器126显示配准的术前成像数据104和术中成像数据108，以用于在手术期间的引导，诸如在脑上进行肿瘤切除。配准的术前成像数据104和术中成像数据108可以以例如重叠的配置、并排配置或任何其他配置来显示。在一个实施例中，配准的术前成像数据104和术中成像数据108的显示为获取微观成像数据136的导航探针114提供了引导。例如，微观成像数据136可以包括细胞和亚细胞水平上的组织的微观信息。
分类模块132经配置以在手术期间自动分类微观成像数据136以用于组织分化。例如，分类模块132可以根据例如健康组织或肿瘤组织、特定类型的肿瘤、特定等级的肿瘤或任何其它分类将微观成像数据136中的组织分类。
在分类模块132的一个实施例中，采用词包(例如，特征)方法用于图像分类。在词包的方法中，全局图像特征由视觉词的出现计数的向量表示。例如，可以在基于局部图像特征所确定的词汇词典的直方图中表示全局图像特征。这些全局图像特征然后用于分类。
图3示出了根据一个或多个实施例的用于图像分类的高级框架300。在步骤302，从微观成像数据136(例如，利用CLE探针获取)提取局部图像特征以进行分类。来自具有低图像纹理信息的微观成像数据136的图像对于图像分类可具有较小的值。由此，这些图像可以初步从分类中排除。图4示例性地示出了根据一个或多个实施例的具有低纹理信息的图像400。图像400可以从分类中排除。
在一个实施例中，与预定阈值相比，来自微观成像数据136的图像基于每个图像的熵值E从分类中排除。熵E如等式(1)所示。
E＝-∑i∈(0,255)pilog(pi) (1)
其中，pi是图像的关注区域R中的像素值的概率。关注区域R可以是透镜区域。可以通过将关注区域R中的像素值表示为关注区域R内的图像强度的直方图来计算概率pi。
然后从微观成像数据136的剩余图像中提取局部图像特征。在一个实施例中，随着局部图像特征，从剩余图像中提取尺度不变特征变换(SIFT)描述符。SIFT描述符描述不变的局部图像结构并捕获局部纹理信息。针对微观成像数据136中的每个剩余成像的关注区域R内每ns个像素计算SIFT描述符，其中ns可以是任意正整数。每个图像被表示为具有宽度w和高度h。也可以采用其它局部图像特征，诸如局部二叉模式(LBP)、定向梯度(HOG)直方图或任何其它描述符或描述符的任何组合。
图5示意性地示出了根据一个或多个实施例的微观成像数据136的图像的关注区域R内部的局部图像特征采样。图像500中的每个白点表示计算SIFT描述符的位置。在一个实施例中，使用128尺寸SIFT特征，但是也可采用其它尺寸。
在步骤304，针对所提取的局部图像特征学习词汇树。词汇树可以用于构建词汇词典。词汇树使用例如分层k均值聚簇来定义分层量化。在一个实施例中，采用具有叶节点的完整二叉(即k＝2)搜索树结构，其中nd是二叉树的预定深度。叶节点用作视觉词汇词。
在离线训练阶段训练词汇树。图6示出了根据一个或多个实施例的词汇树训练的概述600。词汇树训练使用表示从训练数据集导出的训练SIFT描述符(或任何其他局部图像特征)的集合的训练数据602。从训练SIFT描述符中随机选择Nv个样本的子样本604，其中Nv可以是任意正整数。首先将k均值聚簇算法(k＝2)应用于训练SIFT描述符的选定子样本604。通常，在初始步骤中，定义了k个质心或聚簇中心(例如2)，分别用于每个聚簇。然后，子样本604的SIFT描述符被分配给具有最接近质心的相应聚簇。该过程被递归地应用于每个所得到的聚簇，直到树深度达到nd以训练词汇树606。词汇树中的每个叶节点可以与描述每个叶节点的标签或词汇相关联。词汇树对从图像所提取的最突出的辨别特征进行编码，然后将其用于对新图像(来自新的患者)的区域进行分类。
在用于对微观成像数据136的图像进行分类的在线阶段中，在训练的词汇树中整理从图像提取的SIFT描述符(即，特征向量)。每个特征向量通过将各个特征向量与每个级别的两个聚簇中心进行比较并且选择到该相应的特征向量的最接近的聚簇中心，逐级向下传递到训练词汇树304。通过确定位于所训练的词汇树304的叶节点中的每一个叶节点处的相应图像的SIFT描述符的数目，针对每个图像上的所有SIFT描述符计算词汇直方图306。词汇直方图306是根据与词汇树中的叶节点相关联的每个词汇项整理的图像的局部图像特征的数量的直方图。词汇直方图306表示图像的全局图像特征。基于特征词汇中所表示的特定特征集合的出现频率来概括每个图像。特征词汇的直方图是总结图像内容的一种方式，因为它涉及识别特定肿瘤图案的各种重要特征。
使用诸如，例如SVM分类器的分类器308基于全局图像特征(例如，词汇直方图306)对图像进行分类。分类器308将组织，例如健康组织或肿瘤组织分类为特定等级的肿瘤，作为多种不同肿瘤类型中的一种或任何其它分类。分类器308可以包括任何合适的分类器，诸如随机森林分类器、K最近邻分类器等。分类器308可以基于针对具有确认的组织类型的训练集合中的样本图像所确定的词汇直方图在离线训练步骤中训练。在一个实施例中，可以采用基于边缘空间深度学习(MSDL)的框架执行图像分类。在这种情况下，可以使用自动编码器卷积神经网络(CNN)训练边缘空间学习(MSL)分类器。
在一些实施例中，可以利用旋转不变的滤波器组以生成局部响应，而不是使用动手操作的局部图像描述符。在本实施例中，使用滤波器组响应训练词汇树304。
在分类模块132的另一实施例中，分类模块132采用如等式(2)中所示的稀疏编码方法，而不是使用分层词汇树将局部描述符量化为全局图像特征。
B是给定的代码簿，其可以使用k均值聚簇、词汇树(例如，如上所述)或者直接从数据学习得到。xi是局部特征描述符诸如，例如SIFT描述符。ci是稀疏系数的向量。参数λ用于控制稀疏度。目标是学习ci。
直方图z用作用于分类的全局图像特征。直方图z如等式(3)所示。
其中M是每个图像上的局部描述符的数目。直方图z用作用于分类的全局图像特征。直方图z如等式(3)所示
在一个实施例中，代替平均池化(如在直方图中)，如等式(4)中采用了最大池化函数。
zj＝maxi∈{1,2,...M}{|cj1|,|cj2|,...,|cji|,...,|cjM|,} (4)
其中zj是z的第j个元素，对应于B的第j个基数。cji是稀疏系数的第j个元素。ci是每个图像上的第i个局部描述符。直方图z被输入到分类器(例如，SVM分类器)中以对图像进行分类。
有利地，工作站102在研究对象120的手术期间帮助用户。例如，工作站102可以使用例如重叠配置、并排配置或任何其他配置中的显示器126显示配准的术中成像数据108和术前成像数据104以向用户提供引导。配准的术中成像数据108和术前成像数据104的显示可以用探针114的位置进行增强。显示器126可以进一步显示具有配准的图像(例如，并排、重叠等)的微观成像数据136。在一些实施例中，显示器126显示包括规划信息(例如，注释和标记)的所配准的术前成像数据104。
在一些实施例中，工作站102可以根据例如肿瘤类型或等级、健康组织等显示不同类型的组织。例如，工作站102可以使用显示器126显示分类的结果。以这种方式，外科医生或其他用户可以在进行下一步骤之前确认结果。可以在具有术前成像数据104、术中成像数据108和/或微观成像数据136的颜色编码覆盖物的显示器126上显示分类结果。例如，红色可以用于指示肿瘤组织，同时绿色可以表示健康组织。也可以考虑其他形式的视觉识别符。在一些实施例中，可以从存储器或计算机系统的存储装置加载来自先前手术的微观成像数据136，并且在当前的术中成像坐标系中配准并显示。在进一步的实施例中，工作站102提供在不同解剖位置所拍摄的图像序列的报告，如在术前成像数据104和/或手术后的图像中所指示的。
图7示出了根据一个或多个实施例的使用显示器126的工作站102的示例性显示700。显示700包括示出配准术前成像数据104和用探针114的位置所增强的术中成像数据108的视图702。显示700还可以包括探针114的视图704。以这种方式，用户(例如，外科医生)不仅看到视图702中由配准图像所描绘的解剖结构，而且还可以看到视图704中(例如，CLE)探针114的尖端处的组织的细胞和亚细胞水平结构。
图8示出了根据一个或多个实施例的用于图像引导和分类的方法800。在步骤802，接收患者组织的术前成像数据。在手术前获取术前成像数据。术前成像数据可以是任何形式诸如，例如CT、MRI、SPECT、PET等。术前成像数据可以是初始(即，未变形)状态下的患者组织的图像。在一个实施例中，可以通过从存储器或计算机系统的存储装置加载研究对象120的先前存储的成像数据来接收术前成像数据。
在步骤804，接收患者的组织的术中成像数据。可以在手术的初始阶段获取术中成像数据。术中成像数据可以是任何形式诸如，例如MRI、CT、锥形束CT等。术中成像数据可以是处于变形状态下的患者组织的图像。例如，术中成像数据可以是开颅手术后患者的脑组织。
在步骤806，基于个性化生物力学模型配准术前成像数据和术中成像数据。在一个实施例中，生物力学模型包括用于脑的连续力学模型。图9示出了根据一个或多个实施例的用于基于个性化生物力学模型配准术前成像数据和术中成像数据的方法806。
在步骤902，通过求解生物力学模型的逆问题从组织的第一区域提取个性化生物力学参数。第一区域可以在组织的内层(例如皮质下层)中具有更高的成像精度。生物力学模型最初被应用于使用标准(例如，基于名义或基于群体的)生物力学参数来使术前成像数据中的组织的第一区域变形。生物力学参数可以包括例如弹性和泊松比。使用相似性测量将术前成像数据中的变形的第一区域与术中成像数据中的第一区域进行比较。相似性测量结果用于更新生物力学参数。迭代地重复该过程以从第一区域提取个性化生物力学参数。
在步骤904，在术前成像数据和术中成像数据之间建立组织的第二区域的外层(例如，皮质层)之间的对应关系。组织的第二区域在组织的内层具有较低的成像精度。
在步骤906，使用基于对应关系和个性化生物力学参数的生物力学模型来使术前成像数据变形，以配准术前成像数据和术中成像数据。在一个实施例中，可以采用肿瘤生长模型以估计增生细胞的程度。可以根据肿瘤生长模型修改生物力学参数。
回到图8，在步骤808，接收患者组织的微观成像数据。在外科手术过程中，可以在术中获取微观成像数据。可以使用CLE探针获取微观成像数据，以在细胞和亚细胞水平上提供组织的微观信息。可以使用跟踪装置和导航系统在配准图像的公共坐标系中跟踪CLE探针。
在步骤810，对微观成像数据进行分类。例如，微观成像数据可以分类为例如健康或肿瘤组织、特定等级的肿瘤、特定类型的肿瘤。图10示出了根据一个或多个实施例的、用于对微观成像数据进行分类的方法810。
在步骤1002，基于图像的熵，从分类中排除微观成像数据的图像。例如，具有小于阈值的熵的微观成像数据可以从分类中排除为具有低图像纹理信息。
在步骤1004，从剩余的微观成像数据中提取局部图像特征。局部图像特征可以包括SIFT描述符或任何其它合适的局部图像特征诸如，例如LBP、HOG或任意其他局部图像特征或局部图像特征的组合。可以在关注区域的每ns像素处采样局部图像特征，ns是任意正整数。
在步骤1006，在训练的词汇树中整理所提取的局部图像特征。所训练的词汇树可以是使用分层k均值聚簇(k＝2)所学习的二叉词汇树。每个提取的局部图像特征(即特征向量)通过将相应的特征向量与两个聚簇中心进行比较并选择与该相应特征向量最近的聚簇中心，逐级向下传递训练的词汇树。可以在使用培训数据的离线训练步骤中学习训练的词汇树。
在步骤1008，基于在所训练的词汇树中整理的提取的局部图像特征，将词汇直方图计算为用于剩余的微观成像数据的每个图像的全局图像特征。针对剩余微观成像数据的每个相应图像，确定位于训练的词汇树的叶节点中的多个SIFT描述符，以计算词汇直方图。词汇直方图可以基于平均池化函数或最大池化函数。
在步骤1010，基于词汇直方图对剩余的微观成像数据中的患者组织进行分类。患者的组织可以分类为例如健康或肿瘤、特定等级的肿瘤、特定类型的肿瘤等。可以应用所训练的分类器诸如，例如SVM、随机森林、K最近邻或任何其他合适的分类器，以根据肿瘤、健康组织等的等级对组织进行分类。
返回到图8，在步骤812，显示分类。例如，分类可以在配准的术前成像数据和/或术中成像数据和/或微观成像数据上显示为彩色编码覆盖物。所配准的术前成像数据和术中成像数据以及微观成像数据可以以并排配置、重叠配置或任何其它配置来显示。用于获取微观成像数据的探针的位置也可以显示在所配准的术前成像数据和术中成像数据中。
图11示出了根据一个或多个实施例的用于脑的肿瘤切除手术的高级工作流程1100。在步骤1102中，获取患者的脑组织的术前图像。术前图像可以用规划信息注释或标记。组织可包括肿瘤。在步骤1104，在开颅手术之后获取患者脑组织的术中图像。由于压力的变化，开颅手术引起脑组织发生变形。在步骤1106处，例如使用借助个性化生物力学参数的生物力学模型来配准术前图像和术中图像。在步骤1108，使用显示装置显示所配准的术前图像和术中图像。所配准的术前图像和术中图像可以以并排配置、重叠配置或任何其他配置来显示。
在步骤1110，使用来自显示装置的引导将CLE探针导航到组织。CLE探针的位置可以使用装备在CLE探针上的追踪装置与所配准的术前图像和术中图像一起显示。在步骤1112，在组织上的肿瘤边界处的CLE探针获取微观图像。在步骤1114中，在微观图像中确定组织的分类为肿瘤组织(或肿瘤组织的类型/等级)和健康组织中的至少一种。在步骤1116，表示组织分类的颜色被显示为覆盖在所配准的术前图像和术中图像上。例如，红色覆盖物可以指示肿瘤组织，而绿色覆盖物可以表示健康组织。在步骤1118，切除肿瘤。在步骤1120，更新和显示分类。如果显示器仅显示健康的组织，则手术在步骤1122结束。然而，如果显示器显示出肿瘤组织，则工作流程1100返回到步骤1118并且再次切除肿瘤组织。
本文所描述的系统、设备和方法可以使用数字电路或使用一个或多个使用公知的计算机处理器、存储器单元、存储装置、计算机软件和其他组件的计算机来实现。通常，计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包括或耦合到一个或多个大容量存储装置，诸如一个或多个磁盘、内部硬盘和可移动盘、磁光盘、光盘等。
可以使用以客户端-服务器关系操作的计算机来实现本文描述的系统、设备和方法。通常，在此类系统中，客户端计算机远离服务器计算机并经由网络进行交互。客户端-服务器关系可以由在相应的客户端和服务器计算机上运行的计算机程序来定义和控制。
本文描述的系统、设备和方法可以在基于网络的云计算系统内实现。在此类基于网络的云计算系统中，连接到网络的服务器或另一处理器经由网络与一个或多个客户端计算机进行通信。例如，客户端计算机可以经由在客户端计算机上驻留和运行的网络浏览器应用程序与服务器进行通信。客户端计算机可以在服务器上存储数据并经由网络访问数据。客户端计算机可以经由网络向服务器发送用于数据的请求或用于在线服务的请求。服务器可以执行所请求的服务并且向客户端计算机提供数据。服务器还可以发送适于使客户端计算机执行指定功能的数据，例如执行计算以在屏幕上显示指定数据等。例如，服务器可以发送适于使客户端计算机以执行本文所描述的一个或多个方法步骤，其包括图8至图11的步骤中的一个或多个。本文所描述的方法的某些步骤，其包括图8至图11的步骤中的一个或多个，可以由服务器或由基于网络的云计算系统中的另一个处理器执行。本文所描述的方法的某些步骤，其包括图8至图11的步骤中的一个或多个，可以由基于网络的云计算系统中的客户端计算机执行。本文所描述的方法的步骤，其包括图8至图11的步骤中的一个或多个，可以由服务器和/或由基于网络的云计算系统中的客户端计算机以任何组合来执行。
可以使用有形地体现在信息载体中的计算机程序产品来实现本文描述的系统、设备和方法，例如在非暂时的机器可读存储装置中，用于由可编程处理器执行；并且可以使用可由此类处理器执行的一个或多个计算机程序来实现包括图8至图11中的一个或多个步骤的本文所描述的方法步骤。计算机程序是一组计算机程序指令，其可以直接或间接地在计算机中用于执行某些活动或产生某些结果。计算机程序可以以任何形式的编程语言编写，其包括编译或解释语言，并且计算机程序可以以任何形式部署，其包括作为独立程序或作为模块、组件、子程序或适用于计算环境的其他单元。
在图12中示出可以用于实现本文所描述的系统、设备和方法的示例性计算机的高级框图1200。计算机1202包括可操作地耦合到数据存储装置1212和存储器1210的处理器1204。处理器1204通过执行定义此类操作的计算机程序指令来控制计算机1202的整体操作。计算机程序指令可以存储在数据存储装置1212或其他计算机可读介质中，并且当需要计算机程序指令的执行时被加载到存储器1210中。因此，图8至图11的方法步骤可以由存储在存储器1210和/或数据存储装置1212中的计算机程序指令来定义，并且由执行计算机程序指令的处理器1204来控制。例如，计算机程序指令可以实现为本领域技术人员所编程的计算机可执行代码，以执行图8至图11的方法步骤和图1的模块。因此，通过执行计算机程序指令，处理器1204执行图8至图11的方法步骤和图1的模块。计算机1204还可以包括用于经由网络与其他装置通信的一个或多个网络接口1206。计算机1202还可以包括使得用户能够与计算机1202(例如，显示器、键盘、鼠标、扬声器、按钮等)进行交互的一个或多个输入/输出装置1208。
处理器1204可以包括通用和专用微处理器，并且可以是唯一处理器或计算机1202的多个处理器中的一个。处理器1204可以包括例如一个或多个中央处理单元(CPU)。处理器1204、数据存储装置1212和/或存储器1210可以包括、由以下补充或并入其中：一个或多个专用集成电路(ASIC)和/或一个或多个现场可编程门阵列(FPGA)。
数据存储装置1212和存储器1210各自包括有形的非暂时性计算机可读存储介质。数据存储装置1212和存储器1210可以各自包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率同步动态随机存取存储器(DDRRAM)或其他随机存取固态存储装置，并且可以包括非易失性存储器，诸如一个或多个磁盘存储装置，诸如内部硬盘和可移动磁盘、磁光盘存储装置、光盘存储装置、闪存装置、半导体存储装置，诸如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)、数字多功能盘只读存储器(DVD-ROM)盘或其他非易失性固态存储装置。
输入/输出装置1208可以包括诸如打印机、扫描器、显示屏等的外围设备。例如，输入/输出装置1280可以包括用于向用户显示信息的诸如阴极射线管(CRT)或液晶显示器(LCD)监视器之类的显示装置、键盘以及用户可以通过其向计算机1202提供输入的诸如鼠标或轨迹球的指示装置。
本文所论述的包括图1的工作站102、图像获取装置106和导航系统110的元件的任何或全部系统和装置可以使用诸如计算机1202的一个或多个计算机来实现。
本领域技术人员将认识到，实际的计算机或计算机系统的实现可以具有其他结构并且还可以包含其他组件，并且图12是用于说明目的的此类计算机的组件中的一些的高级表示。
上述详细描述应被理解为在各方面都是说明性和示例性的而不是限制性的，并且本文所公开的本发明的范围不是根据具体实施方式来确定的，而是从根据在专利法所允许的全部范围内。应当理解，本文所示出和所描述的实施例仅仅是本发明的原理的说明，并且在不脱离本发明的范围和精神的情况下，本领域技术人员可以实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其他特征组合。

Claims (45)

1.一种用于图像分类的方法，包括：
在外科手术期间接收患者的体内或切除组织的成像数据；
从所述成像数据中提取局部图像特征；
基于提取的所述局部图像特征计算用于所述成像数据的词汇直方图；以及
使用训练的分类器，基于所述词汇直方图，确定所述成像数据中所述患者的所述体内或切除组织的分类，所述训练的分类器基于具有确认的组织类型的一组样本图像进行训练。
2.根据权利要求1所述的方法，其中，基于提取的所述局部图像特征计算所述成像数据的词汇直方图包括：
将提取的所述局部图像特征整理为训练的词汇树的叶节点；以及
基于所述训练的词汇树的所述叶节点中的每一个叶节点处的多个局部图像特征，计算所述词汇直方图。
3.根据权利要求2所述的方法，其中，将提取的所述局部图像特征整理为训练的词汇树的叶节点包括：
在所述叶节点之前的所述训练的词汇树的每个级别处：
将提取的所述局部图像特征中的每一个局部图像特征与多个聚簇中心进行比较，以识别相应最近的聚簇中心；以及
基于所述相应最近的聚簇中心将提取的所述局部图像特征中的每一个局部图像特征传递到所述训练的词汇树的下一级别。
4.根据权利要求2所述的方法，其中，通过将训练数据递归地分配给具有最近聚簇中心的两个聚簇中心中的其中一个聚簇中心，训练所述训练的词汇树，直到所述训练的词汇树达到预定深度。
5.根据权利要求1所述的方法，其中，基于提取的所述局部图像特征计算用于所述成像数据的词汇直方图包括：
基于提取的所述局部图像特征计算稀疏系数的向量；以及
基于所述稀疏系数的向量计算用于所述成像数据的所述词汇直方图。
6.根据权利要求1所述的方法，其中，基于提取的所述局部图像特征计算用于所述成像数据的词汇直方图包括：
基于最大池化函数计算用于所述成像数据的所述词汇直方图。
7.根据权利要求1所述的方法，进一步包括：
基于所述图像的熵在从所述成像数据中提取所述局部图像特征之前，从所述成像数据中排除图像。
8.根据权利要求1所述的方法，其中，从所述成像数据中提取所述局部图像特征包括：
每n个像素从所述成像数据计算尺度不变特征变换(SIFT)描述符，其中n是任意正整数。
9.根据权利要求1所述的方法，其中，使用所述训练的分类器，基于所述词汇直方图，确定所述成像数据中所述患者的所述体内或切除组织的分类包括：
应用训练的支持向量机分类器以确定所述成像数据中所述患者的所述体内或切除组织的分类。
10.根据权利要求1所述的方法，其中，在所述外科手术期间接收所述患者的所述体内或切除组织的所述成像数据包括：
在手术期间从所述患者的所述体内或切除组织的共焦激光微观(CLE)探针接收成像数据。
11.如权利要求1所述的方法，进一步包括：
基于使用个性化生物力学参数的生物力学模型配准术前成像数据和术中成像数据；以及
基于配准的所述术前成像数据和所述术中成像数据来获取所述成像数据。
12.根据权利要求11所述的方法，其中，基于使用个性化生物力学参数的生物力学模型配准术前成像数据和术中成像数据包括：
使用所述术前成像数据和所述术中成像数据，在所述生物力学模型的逆问题中从所述体内或切除组织的第一区域中提取所述个性化生物力学参数；
识别所述术前成像数据中的体内或切除组织的第二区域的外层与所述术中成像数据中的体内或切除组织的第二区域的外层之间的对应关系；以及
通过应用借助所述个性化生物力学参数的所述生物力学模型，基于识别的所述对应关系，确定所述术前成像数据中的体内或切除组织的第二区域的内层的变形。
13.根据权利要求12所述的方法，其中，使用所述术前成像数据和所述术中成像数据在所述生物力学模型的逆问题中从体内或切除组织的第一区域提取所述个性化生物力学参数包括：
通过应用借助标准生物力学参数的所述生物力学模型，确定所述术前成像数据中所述体内或切除组织的第一区域中的初始变形；
将所述术前成像数据中的体内或切除组织的第一区域中的所述初始变形与所述术中成像数据中的体内或切除组织的第一区域进行比较；以及
基于所述比较，迭代地更新所述生物力学模型的生物力学参数以提取所述个性化生物力学参数。
14.根据权利要求11所述的方法，进一包括：
基于用于所述患者的肿瘤生长模型更新所述个性化生物力学参数。
15.根据权利要求11所述的方法，进一步包括：
在所述手术期间，显示用于获取所述成像数据的探针的位置和覆盖在所述术前成像数据上的、所述患者的所述体内或切除的组织的分类。
16.根据权利要求15所述的方法，其中在所述手术期间，显示用于获取所述成像数据的探针的位置和覆盖在所述术前成像数据上的、所述患者的所述体内或切除的组织的分类包括：
在所述手术期间，显示表示覆盖在所述术前成像数据上的、所述患者的体内或切除组织的分类的颜色。
17.一种用于图像分类的装置，包括：
用于在外科手术期间接收患者的体内或切除组织的成像数据的装置；
用于从所述成像数据中提取局部图像特征的装置；
用于基于提取的所述局部图像特征来计算用于所述成像数据的词汇直方图的装置；以及
用于使用训练的分类器基于所述词汇直方图来确定所述成像数据中的所述患者的所述体内或切除组织的分类的装置，所述训练的分类器基于具有确认的组织类型的一组样本图像进行训练。
18.根据权利要求17所述的装置，其中，用于基于提取的所述局部图像特征来计算用于所述成像数据的词汇直方图的装置包括：
用于将提取的所述局部图像特征整理为训练的词汇树的叶节点的装置；以及
用于基于所述训练的词汇树的所述叶节点中的每一个叶节点处的多个局部图像特征来计算所述词汇直方图的装置。
19.根据权利要求18所述的装置，其中，用于将提取的所述局部图像特征分类为训练的词汇树的叶节点的装置包括：
在所述叶节点之前的所述训练词汇树的每个级别处：
用于将提取的所述局部图像特征中的每一个局部图像特征与多个聚簇中心进行比较以识别相应最近的聚簇中心的装置；以及
用于基于所述相应最近的聚簇中心将提取的所述局部图像特征中的每一个局部图像特征传递到所述训练的词汇树的下一级别的装置。
20.根据权利要求17所述的装置，其中，用于基于提取的所述局部图像特征来计算用于所述成像数据的词汇直方图的装置包括：
用于基于提取的所述局部图像特征来计算稀疏系数的向量的装置；以及
用于基于所述稀疏系数的向量计算用于所述成像数据的所述词汇直方图的装置。
21.根据权利要求17所述的装置，进一步包括：
用于基于使用个性化生物力学参数的生物力学模型配准术前成像数据和术中成像数据的装置；以及
用于基于配准的所述术前成像数据和所述术中成像数据获取所述成像数据的装置。
22.根据权利要求21所述的装置，其中，用于基于使用所述个性化生物力学参数的所述生物力学模型来配准所述术前成像数据和所述术中成像数据的装置包括：
用于使用所述术前成像数据和所述术中成像数据在所述生物力学模型的逆问题中从所述体内或切除组织的第一区域中提取所述个性化生物力学参数的装置；
用于识别所述术前成像数据中的体内或切除组织的第二区域的外层与所述术中成像数据中的体内或切除组织的第二区域的外层之间的对应关系的装置；以及
用于通过应用借助所述个性化生物力学参数的所述生物力学模型，基于识别的所述对应关系，确定所述术前成像数据中的体内或切除组织的第二区域的内层的变形的装置。
23.根据权利要求21所述的装置，进一步包括：
用于在所述手术期间，显示用于获取所述成像数据的探针的位置和覆盖在所述术前成像数据上的、所述患者的体内或切除组织的分类的装置。
24.根据权利要求17所述的装置，其中，所述用于在外科手术期间接收所述患者的体内或切除组织的成像数据的装置包括：
用于在所述手术期间从所述患者的体内或切除组织的共焦激光内窥镜(CLE)探针接收成像数据的装置。
25.一种非暂时性计算机可读介质，存储用于图像分类的计算机程序指令，所述计算机程序指令当由处理器执行时使得所述处理器执行操作，所述操作包括：
在外科手术期间接收患者的体内或切除组织的成像数据；
从所述成像数据中提取局部图像特征；
基于提取的所述局部图像特征计算用于所述成像数据的词汇直方图；以及
使用训练的分类器，基于所述词汇直方图，确定所述成像数据中的所述患者的所述体内或切除组织的分类，其中，所述训练的分类器基于具有确认的组织类型的一组样本图像进行训练。
26.根据权利要求25所述的非暂时性计算机可读介质，其中，基于提取的所述局部图像特征来计算用于所述成像数据的所述词汇直方图包括：
将提取的所述局部图像特征整理为训练的词汇树的叶节点；以及
基于所述训练的词汇树的所述叶节点中的每一个叶节点处的多个局部图像特征来计算所述词汇直方图。
27.根据权利要求25所述的非暂时性计算机可读介质，其中，基于所述提取的局部图像特征来计算用于所述成像数据的所述词汇直方图包括：
基于提取的所述局部图像特征计算稀疏系数的向量；以及
基于所述稀疏系数的向量计算用于所述成像数据的所述词汇直方图。
28.根据权利要求25所述的非暂时性计算机可读介质，所述操作进一步包括：
基于使用个性化生物力学参数的生物力学模型配准术前成像数据和术中成像数据；以及
基于配准的所述术前成像数据和所述术中成像数据来获取所述成像数据。
29.一种用于图像配准的方法，包括：
使用术前成像数据和术中成像数据在所述生物力学模型的逆问题中从患者的组织的第一区域中提取个性化生物力学参数；
识别所述术前成像数据中的组织的第二区域的外层与所述术中成像数据中的组织的第二区域的外层之间的对应关系；以及
通过应用借助所述个性化生物力学参数的所述生物力学模型，基于识别的所述对应关系，确定所述术前成像数据中组织的第二区域的内层的变形。
30.根据权利要求29所述的方法，其中，使用所述术前成像数据和所述术中成像数据在所述生物力学模型的逆问题中从所述患者的组织的第一区域中提取所述个性化生物力学参数包括：
通过应用借助标准生物力学参数的所述生物力学模型，确定所述术前成像数据中的组织的第一区域中的初始变形；
将所述术前成像数据中的组织的第一区域中的所述初始变形与所述术中成像数据中的组织的第一区域进行比较；以及
基于所述比较，迭代地更新所述生物力学模型的所述生物力学参数以提取所述个性化生物力学参数。
31.根据权利要求30所述的方法，其中，所述标准生物力学参数包括基于患者群体所确定的生物力学参数。
32.根据权利要求29所述的方法，其中：
组织的第一区域是在所述术中成像数据中的组织的内层中具有较高成像精度的区域，以及
组织的第二区域是在所述术中成像数据中的组织的内层中具有较低成像精度的区域。
33.根据权利要求29所述的方法，其中：
组织的外层包括所述患者的脑的皮质层，以及
组织的内层包括所述患者的脑的皮质下层。
34.根据权利要求29所述的方法，其中，使用所述术前成像数据和所述术中成像数据，在所述生物力学模型的所述逆问题中从所述患者的组织的第一区域提取所述个性化生物力学参数包括：
提取所述患者的个性化组织弹性和泊松比。
35.根据权利要求29所述的方法，进一步包括：
基于所述患者的肿瘤生长模型更新所述个性化生物力学参数。
36.一种用于图像配准的装置，包括：
用于使用术前成像数据和术中成像数据在生物力学模型的逆问题中从患者的组织的第一区域中提取个性化生物力学参数的装置；
用于识别所述术前成像数据中的组织的第二区域的外层与所述术中成像数据中的组织的第二区域的外层之间的对应关系的装置；以及
用于通过应用借助所述个性化生物力学参数的所述生物力学模型，基于识别的所述对应关系，确定所述术前成像数据中的组织的第二区域的内层的变形的装置。
37.根据权利要求36所述的装置，其中，用于在使用所述术前成像数据和所述术中成像数据的所述生物力学模型的所述逆问题中从所述患者的组织的第一区域中提取所述个性化生物力学参数的装置包括：
用于通过应用借助标准生物力学参数的所述生物力学模型来确定所述术前成像数据中的组织的第一区域中的初始变形的装置；
用于将所述术前成像数据中的组织的第一区域中的所述初始变形与所述术中成像数据中的组织的第一区域进行比较的装置；以及
用于基于所述比较，迭代地更新所述生物力学模型的所述生物力学参数以提取所述个性化生物力学参数的装置。
38.根据权利要求37所述的装置，其中，所述标准生物力学参数包括基于患者群体所确定的生物力学参数。
39.根据权利要求37所述的装置，其中，用于在使用所述术前成像数据和所述术中成像数据的所述生物力学模型的所述逆问题中从所述患者的组织的第一区域中提取所述个性化生物力学参数的装置包括：
用于提取所述患者的个性化组织弹性和泊松比的装置。
40.根据权利要求37所述的装置，进一步包括：
用于基于所述患者的肿瘤生长模型来更新所述个性化生物力学参数的装置。
41.一种非暂时性计算机可读介质，存储用于图像配准的计算机程序指令，所述计算机程序指令当由处理器执行时使所述处理器执行操作，所述操作包括：
在使用术前成像数据和术中成像数据的生物力学模型的逆问题中从患者的组织的第一区域中提取个性化生物力学参数；
识别所述术前成像数据中的组织的第二区域的外层与所述术中成像数据中的组织的第二区域的外层之间的对应关系；以及
通过应用借助所述个性化生物力学参数的所述生物力学模型，基于识别的所述对应关系，确定所述术前成像数据中的组织的第二区域的内层的变形。
42.根据权利要求41所述的非暂时性计算机可读介质，其中，在使用所述术前成像数据和所述术中成像数据的所述生物力学模型的所述逆问题中从所述患者的组织的第一区域中提取所述个性化生物力学参数包括：
通过借助标准生物力学参数应用所述生物力学模型来确定所述术前成像数据中的组织的第一区域中的初始变形；
将所述术前成像数据中的组织的第一区域中的所述初始变形与所述术中成像数据中的组织的第一区域进行比较；以及
基于所述比较，迭代地更新所述生物力学模型的生物力学参数以提取所述个性化生物力学参数。
43.根据权利要求41所述的非暂时性计算机可读介质，其中：
组织的第一区域是在所述术中成像数据中的组织的内层中具有较高成像精度的区域，以及
组织的第二区域是在所述术中成像数据中的组织的内层中具有较低成像精度的区域。
44.根据权利要求41所述的非暂时性计算机可读介质，其中：
组织的外层包括所述患者的脑的皮质层，以及
组织的内层包括所述患者的脑的皮质下层。
45.一种用于对患者的脑执行肿瘤切除的方法，包括：
配准术前成像数据和术中成像数据；
显示配准的所述术前成像数据和所述术中成像数据；
基于配准的所述术前成像数据和所述术中成像数据的显示，将共焦激光微观(CLE)探针导航到包括所述肿瘤的体内或切除的脑组织的区域；
在所述肿瘤的边界处从CLE探针接收CLE成像数据；
确定所述体内或切除的脑组织的区域作为健康组织和肿瘤组织中的至少一个的分类；
显示用于所述肿瘤的切除的、所述体内或切除的脑组织的分类；和
重复确定所述体内或切除的脑组织的区域的分类并且重复显示所述体内或切除的脑组织的分类，直到所述体内或切除的脑组织的分类显示示出具有切除的瘤床的健康组织。
CN201580079855.0A 2015-05-11 2015-05-11 通过内窥镜组织分化的外科引导和术中病理的系统和方法 Expired - Fee Related CN107624192B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2015/030095 WO2016182552A1 (en) 2015-05-11 2015-05-11 A system and method for surgical guidance and intra-operative pathology through endo-microscopic tissue differentiation

Publications (2)

Publication Number Publication Date
CN107624192A true CN107624192A (zh) 2018-01-23
CN107624192B CN107624192B (zh) 2020-10-27

Family

ID=53200324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580079855.0A Expired - Fee Related CN107624192B (zh) 2015-05-11 2015-05-11 通过内窥镜组织分化的外科引导和术中病理的系统和方法

Country Status (4)

Country Link
US (2) US10635924B2 (zh)
EP (1) EP3295373A1 (zh)
CN (1) CN107624192B (zh)
WO (1) WO2016182552A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113993475A (zh) * 2020-05-20 2022-01-28 康坦手术股份有限公司 通过图像分析来预测病变复发的方法
CN114947756A (zh) * 2022-07-29 2022-08-30 杭州咏柳科技有限公司 基于皮肤图像的特应性皮炎严重程度的智能评估决策系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6745796B2 (ja) * 2014-10-17 2020-08-26 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 介入治療内で器具を挿入する間の実時間の臓器区分化及び器具ナビゲーションのためのシステム、並びにその作動方法
US11707204B2 (en) * 2015-10-06 2023-07-25 Synaptive Medical Inc. Method, system and apparatus for image-guided insertion of implant devices
JP6824845B2 (ja) * 2017-08-09 2021-02-03 キヤノン株式会社 画像処理システム、装置、方法およびプログラム
WO2020006554A1 (en) * 2018-06-29 2020-01-02 Geomni, Inc. Computer vision systems and methods for automatically detecting, classifing, and pricing objects captured in images or videos
US11676182B2 (en) 2018-06-29 2023-06-13 Insurance Services Office, Inc. Computer vision systems and methods for automatically detecting, classifying, and pricing objects captured in images or videos
US11540794B2 (en) 2018-09-12 2023-01-03 Orthogrid Systesm Holdings, LLC Artificial intelligence intra-operative surgical guidance system and method of use
JP7466928B2 (ja) 2018-09-12 2024-04-15 オルソグリッド システムズ ホールディング，エルエルシー 人工知能の術中外科的ガイダンスシステムと使用方法
CN109523507B (zh) * 2018-09-26 2023-09-19 苏州六莲科技有限公司 一种病变图像生成的方法、装置及计算机可读存储介质
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US11017233B2 (en) * 2019-03-29 2021-05-25 Snap Inc. Contextual media filter search
DE102020111376A1 (de) 2020-04-27 2021-10-28 Carl Zeiss Meditec Ag Medizinisch optisches System, Datenverarbeitungssystem, Computerprogramm und nichtflüchtiges computerlesbares Speichermedium
US12008760B2 (en) * 2020-07-24 2024-06-11 Covidien Lp Systems and methods for estimating the movement of a target using a universal deformation model for anatomic tissue

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886581A (zh) * 2012-11-15 2014-06-25 西门子公司 利用生物力学模型仿真配准术前和术中图像的系统和方法
CN104008095A (zh) * 2013-02-25 2014-08-27 武汉三际物联网络科技有限公司 一种基于语义特征提取与匹配的物体识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9788753B2 (en) * 2009-02-26 2017-10-17 Ramot At Tel-Aviv University Ltd. Method and system for characterizing cortical structures
US20140046170A1 (en) * 2012-08-07 2014-02-13 Chia-Wei Sun Brain volumetric measuring method and system using the same
US10736497B2 (en) * 2013-03-11 2020-08-11 Institut Hospitalo-Universitaire De Chirurgie Mini-Invasive Guidee Par L'image Anatomical site relocalisation using dual data synchronisation
US9053392B2 (en) * 2013-08-28 2015-06-09 Adobe Systems Incorporated Generating a hierarchy of visual pattern classes
US10055551B2 (en) * 2013-10-10 2018-08-21 Board Of Regents Of The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes
FR3020700B1 (fr) * 2014-04-30 2016-05-13 Univ Bordeaux Methode pour la quantification de la presence de graisses dans une region du cœur
WO2016006096A1 (ja) * 2014-07-11 2016-01-14 コニカミノルタ株式会社 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム
EP3274915A1 (en) * 2015-03-27 2018-01-31 Siemens Aktiengesellschaft Method and system for automated brain tumor diagnosis using image classification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886581A (zh) * 2012-11-15 2014-06-25 西门子公司 利用生物力学模型仿真配准术前和术中图像的系统和方法
CN104008095A (zh) * 2013-02-25 2014-08-27 武汉三际物联网络科技有限公司 一种基于语义特征提取与匹配的物体识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SEBASTIAN FOERSCH 等: "Confocal Laser Endomicroscopy for Diagnosis and Histomorphologic Imaging of Brain Tumors In Vivo", 《PLOS ONE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113993475A (zh) * 2020-05-20 2022-01-28 康坦手术股份有限公司 通过图像分析来预测病变复发的方法
CN114947756A (zh) * 2022-07-29 2022-08-30 杭州咏柳科技有限公司 基于皮肤图像的特应性皮炎严重程度的智能评估决策系统

Also Published As

Publication number Publication date
US20200175307A1 (en) 2020-06-04
US11380084B2 (en) 2022-07-05
WO2016182552A1 (en) 2016-11-17
US20180114087A1 (en) 2018-04-26
US10635924B2 (en) 2020-04-28
CN107624192B (zh) 2020-10-27
EP3295373A1 (en) 2018-03-21

Similar Documents

Publication Publication Date Title
CN107624192A (zh) 通过内窥镜组织分化的外科引导和术中病理的系统和方法
CN110326024B (zh) 用于处理由医学成像装置捕获的组织学图像的方法和装置
Navarrete-Welton et al. Current applications of artificial intelligence for intraoperative decision support in surgery
US20170042495A1 (en) Medical image information system, medical image information processing method, and program
Neelapu et al. Deep learning based conventional neural network architecture for medical image classification
JP2018532441A (ja) 脳腫瘍を分類するための視覚表現学習
CN107408198A (zh) 细胞图像和视频的分类
Lachinov et al. Projective skip-connections for segmentation along a subset of dimensions in retinal OCT
Laghari et al. How to collect and interpret medical pictures captured in highly challenging environments that range from nanoscale to hyperspectral imaging
Sureshkumar et al. RETRACTED ARTICLE: Improved performance accuracy in detecting tumor in liver using deep learning techniques
Eswaran et al. Applying Machine Learning for Medical Image Processing
Scholler et al. Automatic diagnosis and classification of breast surgical samples with dynamic full-field OCT and machine learning
Ma et al. Automatic pulmonary ground‐glass opacity nodules detection and classification based on 3D neural network
CN116097086A (zh) 细胞诊断和分析方法
CN113177945A (zh) 用于将分割图链接到体数据的系统和方法
Sundaresan et al. Insight Into Various Algorithms For Medical Image Analyzes Using Convolutional Neural Networks (Deep Learning)
Rathod et al. Using Weakly Supervised Machine learning Algorithms for Classification and Analysis of CT Scan Lung Cancer Images
Tam Machine learning towards general medical image segmentation
Bandyopadhyay et al. Artificial-intelligence-based diagnosis of brain tumor diseases
Behura Congruence of Deep Learning in Medical Image Processing: Future Prospects and Challenges
Sharma Medical image analysis of gastric cancer in digital histopathology: methods, applications and challenges
Sharma Medical Image Processing Using AI
Ismaila Machine Learning Application In Neuroscience For Pre-Surgical Brain Tumor Removal Procedure
Agarwal Multimodal Medical Image Analysis Using Machine Learning
Azad AI enabled surgery: enabling da Vinci Xi robot with live cancerous tumor detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201027