CN107209092A - 用于中间解剖的系统和方法 - Google Patents

用于中间解剖的系统和方法 Download PDF

Info

Publication number
CN107209092A
CN107209092A CN201680007754.7A CN201680007754A CN107209092A CN 107209092 A CN107209092 A CN 107209092A CN 201680007754 A CN201680007754 A CN 201680007754A CN 107209092 A CN107209092 A CN 107209092A
Authority
CN
China
Prior art keywords
grinding
image
slide glass
annotation
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680007754.7A
Other languages
English (en)
Inventor
M.巴恩斯
S.查卡
M.卡德里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
F Hoffmann La Roche AG
Roche Diagnostics GmbH
Original Assignee
F Hoffmann La Roche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by F Hoffmann La Roche AG filed Critical F Hoffmann La Roche AG
Publication of CN107209092A publication Critical patent/CN107209092A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/286—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q involving mechanical work, e.g. chopping, disintegrating, compacting, homogenising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/286—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q involving mechanical work, e.g. chopping, disintegrating, compacting, homogenising
    • G01N2001/2873—Cutting or cleaving
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/38—Diluting, dispersing or mixing samples
    • G01N2001/383—Diluting, dispersing or mixing samples collecting and diluting in a flow of liquid
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2800/00—Detection or diagnosis of diseases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Sampling And Sample Adjustment (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本主题公开提供了通过在数字病理学成像和中间解剖（或研磨）系统内并入了注释和标记间配准模块的用于生物标本和组织载片中间解剖的系统、计算机实现的方法和临床工作流程。可以基于标记间配准而利用与研磨载片相关联的图像上的注释使用同一成像系统来获取参考载片和研磨载片的图像。每个图像与其相应注释和元数据一起可以与项目或案例相关联，并被存储在图像管理系统中。可以使用同标记配准来将注释从研磨载片的已注释图像映射到研磨载片的实况图像。利用将已研磨组织输出到与加标签的输入载片相关联地加标签的容器中可以基于注释来研磨研磨载片。

Description

用于中间解剖的系统和方法
技术领域
本主题公开涉及用于医疗诊断的成像。更特别地，本主题公开涉及通过数字病理学指导的安装在载片上的组织载片的自动化显微解剖（中间解剖）。
背景技术
在分析诸如组织切片、血液、细胞培养等的生物标本时，将生物标本安装在载片上，用着色剂和生物标记的一个或多个组合进行着色，并观察所得出的分析物或对所得出的分析物成像以用于进一步分析。观察分析物使得能够实现各种过程，包括疾病诊断、对治疗的反应的评估以及抵御疾病的新药品的开发。分析物包括结合到抗体的一个或多个着色剂，所述抗体联结到蛋白质、蛋白质片段或标本中的其它感兴趣对象。在着色之后，可以对分析物成像以用于进一步分析组织标本的内容。此外，组织标本的着色或未着色的切片也可以在物理上进行解剖以用于进一步的分子或基因分析。例如，解剖安装在载片上的肿瘤样本通常用于充实癌细胞，以便在随后的生物化学特征分析时生成更好的信噪比。许多临床实验室出于实践原因并且为了避免激光显微解剖系统的开支和困难而利用手动解剖。不幸的是，手动方法经常缺乏分辨率和过程跟踪能力和文档资料。中间解剖系统提供了比手动方法更好的精度，同时还提供了数字图像指导和电子过程文档资料。现存的安装在载片上的组织中间解剖系统（诸如由AvanSci Bio（RTM）制造的那些（详见http://avansci-bio.com/uploads/CDP-08_MesoDissection_System_Flyer_Rev_1.pdf））提供了比手动方法更好的精度，同时还提供了电子图像指导和电子过程文档资料。中间解剖系统可以包括微组织研磨，其采用专用的一次性研磨刀头，其同时地分发液体、从安装在载片上的组织表面切割组织并将液体与被移位的组织片段一起抽出。中间解剖仪器还包括光学成像系统组件——其具有用以保持各组织载玻片的移动的x-y载台，其中各组织载片中的一个（通常是H&E载片）被加载到载台上并将其成像以便用户描画注释的轮廓。该载片称为参考载片。要解剖的组织载片（因此称为研磨载片）也位于载台上，并对其进行实况图像捕捉以用于组织提取。这些中间解剖系统还可以提供软件接口以用于使得能够实现感兴趣区域的注释以及在参考的图像和对应于连续切割的组织切片的研磨载片之间手动转移注释，从而使得能够进一步指导解剖和生成过程的电子记录。
虽然现存的中间解剖系统比手动解剖方法更有效且更适用于生物样本的生物标记分析，但是它们以许多方式受到限制而无法更广泛的使用。该系统在指定和构造用于研磨的注释方面有所不足。必须将在参考载片图像上描画轮廓的注释通过中间解剖系统上的手动交互的图像对齐和注释映射程序映射到研磨载片图像。因此，映射过程的准确度受限于中间解剖系统的放大率（分辨率）（约5x显微镜透镜物镜），这低于准确地定义期望区边缘（诸如肿瘤或免疫区边缘）所需的放大率并且比用数字病理学系统可能且通常得到的（20x、40x显微镜物镜等）低得多，这导致所提取的组织数据被其它形式的组织讹误与从期望的生物特定区中排他性地提取组织相对抗。
生成研磨注释的过程对于取得组织用于具体诊断或生物目的来说是至关重要的。现有系统被设计成由专业技术人员一次一个载片地以连续方式操作，并且生成这些注释的过程是人工密集型过程。这些系统缺乏在临床前药物发现、开发研究学习和临床预后和预测性分析的使用中以相关方式从多个组织载片中提取组织、分析并研究来自多个区和相邻载片的分子和基因序列分析信息的灵活性。
发明内容
本主题公开通过提供用于在数字病理学成像系统上经由参考载片和研磨载片的数字图像捕捉的生物标本和组织载片的中间解剖的指令或系统、计算机实现的方法和临床工作流程解决了上面识别出的问题，其使用数字病理学软件应用通过直接注释或利用自动化标记间配准操作将来自参考载片的扫描高放大率图像的注释映射到研磨图像来在研磨载片的数字化高分辨率图像上生成研磨注释，并且然后基于中间解剖系统上的主要用于研磨目的的已注释研磨图像来处理一个或多个研磨载片。使用数字病理学整体载片扫描器以期望的高分辨率（20x、40x等）数字扫描对应于组织样本的邻近切片的多个载片以生成高分辨率图像。一旦被数字化就可以由操作者或通过使用任何数字病理学整体载片图像观察应用上的图像分析操作来注释一个或多个图像以描绘感兴趣区域。已注释图像中的一个或多个可以被指定为一组参考图像。以类似方式，可以将一个或多个图像指定为一组研磨图像，即，所述载片意图通过中间解剖系统或研磨系统来解剖。例如，研磨载片可以是未着色组织载片。因此可以使用同一成像系统获取参考载片和研磨载片的图像。
为了对研磨载片中的每一个生成该组特定的研磨注释，用户可以从参考图像中选择预期的一组参考注释并在数字病理学软件应用中执行标记间配准操作以准确地以扫描的高放大率来配准并将来自对应的参考图像的注释映射到研磨图像。研磨图像可以表示用相同或不同着色剂组合着色的组织载片。研磨载片可以是未着色组织载片。因此可以基于标记间配准而利用与任何研磨载片相关联的图像上的注释使用同一成像系统来获取参考载片和研磨载片的图像。每个图像与其相应注释和元数据一起可以与项目或案例相关联，并被存储在图像管理系统中。此外，将研磨载片加载到中间解剖系统上，并且对应的研磨图像与其研磨注释一起从图像管理系统导入到中间解剖系统中，所述中间解剖系统是从该中间解剖系统上的软件接口调用的。针对要研磨的载片中的每一个，可以捕捉研磨载片的实况图像，并且可以使用同标记配准来将注释从所导入且已注释的图像映射到正研磨的载片的实况图像。因此，在中间解剖系统上研磨研磨载片上的打算的区的过程仅要求导入对应的已注释研磨图像而与导入和进一步利用参考图像中的任何没有任何相关性或不需要导入和进一步利用参考图像中的任何。因此，研磨系统主要用于研磨和组织提取目的。研磨载片可以基于相关联的注释来研磨，其中将已研磨组织输出到与加标签的研磨载片相关联地加标签的容器中，并且所述元数据包括参考载片和注释信息。
因此，所提出的工作流程使得以分批装配模式在高分辨率数字病理学系统上数字化来自组织块或患者的全部加标签的组织载片并将其保存到图像管理系统是可能的。病理学家或医学专家可离线地在任何计算机上使用数字病理学软件应用来导入、检查数字图像和在所选参考载片的图像上进行注释并针对要研磨的载片中的每一个选择该组参考注释。一旦描画出了参考注释的轮廓，就可在计算机上执行标记间配准操作以对全部组织数据集分批执行并在要研磨的载片的图像上输出对应的研磨注释并将其保存到图像管理系统。在紧接下来或稍后的会话中，中间解剖系统技术人员或操作者可以在没有任何另外的指导或来自医学专家的输入的情况下物理地加载全部加标签的研磨载片并将它们加载到中间解剖系统上并连接到图像管理系统以导入研磨图像和相关联的注释。并且对于要物理地研磨的载片中的每一个，通过使用解剖系统上的软件接口，使用同标记配准操作来将研磨注释映射到实况捕捉的相机坐标系统并将所提取的组织收集到加标签的容器中。因此，该整体工作流程使得数字病理学指导的中间解剖系统在高体积临床前和临床设置中操作。
在一个示例性实施例中，本主题公开提供了一种组合数字病理学成像子系统和中间解剖或研磨子系统的仪器或系统。该系统包括：处理器以及被耦合到所述处理器的存储器，所述存储器用于存储计算机可执行指令，所述计算机可执行指令被所述处理器执行以实行包括以下各项的操作：使用标记间配准操作来将注释从第一图像映射到包括研磨图像的多个相邻图像中的一个或多个，以及随后基于所述注释解剖对应于所述研磨图像的研磨载片，其中所述注释被映射到所述研磨载片的实况图像。
根据该实施例，所述第一图像和所述多个相邻图像可以对应于组织块的连续切片。所述第一图像和所述研磨图像可以对应于同一研磨载片。所述操作还可以包括基于所述注释生成研磨注释。所述一个或多个注释可以包括XML数据。所述操作还可以包括将来自所述研磨载片的所述一个或多个注释和已研磨组织样本与患者相关联。所述关联可以包括使用唯一标识符。也可以将所述已研磨组织样本的分析结果与所述患者相关联。可以使用所述已研磨组织样本的分析结果来确定随后的扫描操作或随后的研磨操作中的一个或多个。可以使用同标记配准操作将所述注释映射到所述研磨载片中的每一个的实况图像。随后可以基于所述已注释实况图像来解剖所述研磨载片上的已注释感兴趣区域。
在另一示例性实施例中，本主题公开提供了供在所述组合系统中使用的相应的数字病理学成像子系统和中间解剖或研磨子系统。
在另一示例性实施例中，本主题公开提供了一种数字病理学成像仪器或系统，包括：处理器以及被耦合到所述处理器的存储器，所述存储器用于存储计算机可执行指令，所述计算机可执行指令被所述处理器执行以实行包括以下各项的操作：注释组织块的多个连续图像中的第一图像，将一个或多个注释从所述第一图像映射到研磨图像，以及将所述研磨图像的所述一个或多个注释导出到研磨系统，其中所述研磨系统基于所述一个或多个注释来解剖与所述研磨图像相关联的研磨载片。
根据该实施例，所述研磨系统可以使用同标记配准操作来将所述注释从所述已注释研磨图像映射到研磨载片的实况图像。从所述第一图像到所述研磨图像的注释映射可以使用标记间配准操作。
在又一示例性实施例中，本主题公开提供了一种研磨或中间解剖系统或仪器，包括：处理器以及被耦合到所述处理器的存储器，所述存储器用于存储计算机可执行指令，所述计算机可执行指令被所述处理器执行以实行包括以下各项的操作：从成像系统导入一个或多个注释，其中所述一个或多个研磨注释指示组织标本的感兴趣区，所述组织标本是组织块的多个连续切片中的一个，并且其中所述一个或多个研磨注释是在被耦合到用于扫描所述组织标本的扫描器的工作站上生成的，将所述一个或多个注释映射到研磨载片的实况图像以生成研磨注释，以及基于所述研磨注释解剖所述研磨载片。
根据该实施例，到所述实况图像的注释映射可以是基于同标记配准操作。可以将所述注释转译成研磨系统的坐标系。
在又一示例性实施例中，本主题公开提供了一种用于组合式数字病理学和中间解剖的计算机实现的方法。所述方法包括以下步骤：将注释从第一图像映射到包括研磨图像的多个相邻图像中的一个或多个；以及随后基于所述注释解剖对应于所述研磨图像的研磨载片；其中所述注释被映射到所述研磨载片的实况图像。
根据该实施例，从所述第一图像到所述研磨图像的注释映射可以使用标记间配准操作。所述研磨系统可以使用同标记配准操作来将所述注释从所述已注释研磨图像映射到研磨载片的实况图像。所述第一图像和所述多个相邻图像可以对应于组织块的连续切片。所述一个或多个研磨注释可以指示组织标本的感兴趣区，所述组织标本是组织块的多个连续切片中的一个。所述一个或多个研磨注释可以是在被耦合到用于扫描所述组织标本的扫描器的工作站上生成的。
具体来说，可以由所述系统来执行该方法。因此，关于系统公开的特征要相应地被理解为关于方法被公开。
在又一示例性实施例中，本主题公开提供了一种用于组合式数字病理学和中间解剖的仪器，包括：处理器；以及被耦合到所述处理器的存储器，所述存储器用于存储计算机可读指令，所述计算机可读指令当被所述处理器执行时促使所述处理器实行所述方法中的一个。
在又一示例性实施例中，本主题公开提供了一种数字病理学仪器，其被装备用于在所述方法中的一个中使用，所述数字病理学仪器包括：处理器；以及被耦合到所述处理器的存储器，所述存储器用于存储计算机可读指令，所述计算机可读指令当被所述处理器执行时促使所述处理器实行包括以下各项的操作：将注释从第一图像映射到包括研磨图像的多个相邻图像中的一个或多个；以及将所述研磨图像的所述一个或多个注释导出到研磨系统。
在又一示例性实施例中，本主题公开提供了一种中间解剖仪器，其被装备用于在所述方法中的一个中使用，所述中间解剖仪器包括：处理器；以及被耦合到所述处理器的存储器，所述存储器用于存储计算机可读指令，所述计算机可读指令当被所述处理器执行时促使所述处理器实行包括以下各项的操作：从成像系统导入一个或多个注释，以及基于所述注释解剖对应于所述研磨图像的研磨载片；其中所述注释被映射到所述研磨载片的实况图像。
附图说明
图1描绘根据本主题公开的示例性实施例的包括分离的成像子系统和研磨子系统的数字病理学系统。
图2描绘根据本主题公开的示例性实施例的包括组合式成像子系统和研磨子系统的数字病理学系统。
图3描绘根据本主题公开的示例性实施例的用于使用分离的成像子系统和研磨子系统来进行中间解剖的方法。
图4描绘根据本主题公开的示例性实施例的用于使用分离的成像子系统和研磨子系统来进行中间解剖的这样的替换方法。
图5描绘根据本主题公开的示例性实施例的用于使用组合式成像子系统和研磨子系统来进行中间解剖的方法。
图6描绘根据本主题公开的示例性实施例的由本文中公开的系统和方法而使得能够实现的回环（loop-back）分析。
具体实施方式
本主题公开通过提供用于在数字病理学成像系统上经由参考载片和研磨载片的数字图像捕捉的生物标本和组织载片的中间解剖的指令或系统、计算机实现的方法和临床工作流程解决了上面识别出的问题，其使用数字病理学软件应用通过直接注释或利用自动化标记间配准操作将来自参考载片的扫描高放大率图像的注释映射到研磨图像来在研磨载片的数字化高分辨率图像上生成研磨注释，并且然后基于中间解剖系统上的主要用于研磨目的的已注释研磨图像来处理一个或多个研磨载片。使用数字病理学整体载片扫描器以期望的高分辨率（20x、40x等）数字扫描对应于组织样本的邻近切片的多个载片以生成高分辨率图像。一旦被数字化就可以由操作者或通过使用任何数字病理学整体载片图像观察应用上的图像分析操作来注释一个或多个图像以描绘感兴趣区域。已注释图像中的一个或多个可以被指定为一组参考图像。以类似方式，可以将一个或多个图像指定为一组研磨图像，即，所述载片意图通过中间解剖系统或研磨系统来解剖。例如，研磨载片可以是未着色组织载片。因此可以使用同一成像系统获取参考载片和研磨载片的图像。
为了对研磨载片中的每一个生成该组特定的研磨注释，用户可以从参考图像中选择预期的一组参考注释并在数字病理学软件应用中执行标记间配准操作以准确地以扫描的高放大率来配准并将来自对应的参考图像的注释映射到研磨图像。研磨图像可以表示用相同或不同着色剂组合着色的组织载片。研磨载片可以是未着色组织载片。因此可以基于标记间配准而利用与任何研磨载片相关联的图像上的注释使用同一成像系统来获取参考载片和研磨载片的图像。每个图像与其相应注释和元数据一起可以与项目或案例相关联，并被存储在图像管理系统中。此外，将研磨载片加载到中间解剖系统上，并且对应的研磨图像与其研磨注释一起从图像管理系统导入到中间解剖系统中，所述中间解剖系统是从该中间解剖系统上的软件接口调用的。针对要研磨的载片中的每一个，可以捕捉研磨载片的实况图像，并且可以使用同标记配准来将注释从所导入且已注释的图像映射到正研磨的载片的实况图像。因此，在中间解剖系统上研磨研磨载片上的打算的区的过程仅要求导入对应的已注释研磨图像而既与导入和进一步利用参考图像中的任何没有任何相关性也不需要导入和进一步利用参考图像中的任何。因此，研磨系统主要用于研磨和组织提取目的。研磨载片可以基于相关联的注释来研磨，其中将已研磨组织输入到与加标签的研磨载片相关联地加标签的容器中，并且所述元数据包括参考载片和注释信息。
因此，所提出的工作流程使得以分批装配模式在高分辨率数字病理学系统上数字化来自组织块或患者的全部加标签的组织载片并将其保存到图像管理系统是可能的。病理学家或医学专家可离线地在任何计算机上使用数字病理学软件应用来导入、检查数字图像和在所选参考载片的图像上进行注释并针对要研磨的载片中的每一个选择该组参考注释。一旦描画轮廓出了参考注释，就可以在计算机上执行标记间配准操作以对全部组织数据集分批执行并在要研磨的载片的图像上输出对应的研磨注释并将其保存到图像管理系统。在紧接下来或稍后的会话中，中间解剖系统技术人员或操作者可以在没有任何另外的指导或来自医学专家的输入的情况下物理地加载全部加标签的研磨载片并将它们加载到中间解剖系统上并连接到图像管理系统以导入研磨图像和相关联的注释。对于要物理地研磨的每个载片，通过使用解剖系统上的软件接口，同标记配准操作来将研磨注释映射到实况捕捉的相机坐标系统并将所提取的组织收集到加标签的容器中。因此，该整体工作流程使得数字病理学指导的中间解剖系统在高体积临床前和临床设置中操作。
图1描绘根据本主题公开的示例性实施例的包括用于成像100和研磨110的分离子系统的数字病理学系统。成像子系统100可以包括用于生成一个或多个分析物的图像的硬件和软件。例如，成像子系统100可以包括存储器101，其存储由被耦合到计算机104的处理器103执行的多个处理模块或逻辑指令。除了处理器103和存储器101之外，计算机104还可以包括用户输入和输出设备，诸如键盘、鼠标、触笔、显示器/触摸屏和联网元件。例如，在存储器101内的处理模块的执行可以通过用户输入以及由通过网络从网络服务器或用于存储并稍后由计算机104检索的数据库提供的输入来触发。成像子系统100可以包括整体载片扫描器，诸如Ventana iScan HT或iScan Coreo，或者整体载片图像管理系统，诸如VIRTUOSO（RTM）或SCANSCOPE（RTM）。
成像子系统100还可以包括成像组件102，诸如数字显微镜或整体载片扫描器。成像组件102取决于所生成的图像的类型。例如，样本可能借助于应用包含与用于亮视野成像的显色着色剂或用于荧光成像的荧光团相关联的一个或多个不同生物标记的着色分析物而已被着色，其中成像硬件102包括亮视野RGB相机或荧光成像系统中的一个或多个。成像子系统100可以生成对应于组织块的连续切片的多个图像，所述连续切片诸如取自被认为患有癌症的患者的活体组织切片。每个连续切片可以安装在单独的载片上并用着色剂和生物标记的不同组合来着色，从而得到描绘相邻组织切片的多个分析物。可以以由病理学家指定的任何缩放水平（诸如20X、40X等）来扫描图像，并且可以从任何类型的生物特征来描绘该图像，所述生物特征诸如H&E或任何其它IHC、ISH、细胞学（小便器、血液涂片薄制备、风干、触摸制备、细胞块）CTC和/或感兴趣的血液学载片。由成像组件102向存储器101提供这些图像和其它信息（诸如关于目标组织类型或对象的信息）以及对着色和/或成像平台的标识（哪些且有多少特定抗体分子联结到了组织上的某些联结部位或目标（诸如肿瘤标记或特定免疫细胞的生物标记等））以根据存储于其上的逻辑模块进行处理。此外，可以提供由病理学家给出的生物问题/要求诊断以及使得能够跟踪随后的处理结果并将其与针对正诊断的患者的数据库记录相关联的患者信息。
例如，注释和配准模块105可以接收所述图像和数据，并且可以使得能够选择图像的各部分的注释并将这些注释配准到相邻的组织载片的图像。可以将一个或多个图像指定为参考图像，其被呈现在接口上以使得用户能够指定感兴趣的区域或对象，并对这些感兴趣区域加标签和注释以用于研磨，或用于其它诊断和处理目的。注释可以描绘在其处特定的生物标记表达较高的临床相关区（诸如免疫或肿瘤区）。注释可以是肿瘤的完整区或子区，或者任何其它生物上有意义的非肿瘤组成，诸如淋巴区、异质区、IHC标记子类型区等。注释还可以使用用于检测和/或分割（一个或多个）参考图像内的感兴趣区域或对象的图像分析操作来自动生成。例如，自动化图像分析操作可以检测期望的组织类型（诸如H&E载片中的肿瘤、淋巴区等）或在IHC着色的载片中的高标记表达的热点（比如任何肿瘤、免疫或血管标记肿瘤标记、免疫标记等）。参考图像可以描绘H&E载片。
可以调用注释和配准模块105的配准组件以将注释从所述参考图像转移到一个或多个相邻图像。例如，一个或多个图像可以对应于被指定为要由研磨系统110解剖的载片。这些图像（在后文中称为研磨图像）可以另外使用例如标记间或同标记配准操作被自动注释有感兴趣区域。研磨注释可以是针对每个研磨载片客户特定地从被选成反映或分析某一生物问题的参考注释的对应子集构建的。用着色剂和标记的不同组合的跨分析物的示例性配准操作使用标记间操作，诸如参考共同受让且共同未决的欧洲专利申请WO2014140070A2进一步描述的方法，藉此将所述申请的内容通过引用整体地并入到本文中。所并入的专利申请的相关部分描述了一种计算机化的图像配准过程，其包括从单个患者的相邻组织切片的一组数字图像中选择第一组织切片的第一数字图像，从该组中选择第二组织切片的第二数字图像，匹配所述第一数字图像与所述第二数字图像之间的组织结构，以及自动地将所述第一数字图像上的绘制的注释映射到所述第二数字图像。所述第一数字图像可以导出自使用一着色剂和成像模式获得的图像，并且所述第二数字图像可以导出自使用相比于所述第一数字图像的不同着色剂、不同成像模式或二者都不同而获得的图像。所述着色剂可以选自苏木精和伊红着色剂（H&E着色剂）、免疫组织化学着色剂（“IHC”着色剂）或荧光着色剂。所述成像模式可以选自亮视野显微术或荧光显微术。匹配的组织结构可以包括粗略配准模式，其包括：从所述第一数字图像生成第一灰度级组织前景图像以及从所述第二数字图像生成第二灰度级组织前景图像，从所述第一灰度级组织前景图像计算第一组织二值边缘图以及从所述第二灰度级组织前景图像计算第二组织二值边缘图，计算全局变换参数以对齐所述第一二值边缘图和所述第二二值边缘图，以及，基于所述全局变换参数将所述第一数字图像和所述第二数字图像映射到涵盖所述第一和第二数字图像二者的共同的大网格。计算全局变换参数还可以包括使用基于时刻的映射方法来生成所述第一二值边缘图与所述第二二值边缘图之间的仿射映射。可以使用精细配准模式来细化所述第一数字图像和所述第二数字图像的对齐。所述精细配准模式包括：注释所述第一数字图像，将所述共同大网格上的所述注释映射到所述第二数字图像中的对应位置，以及基于所述二值组织边缘图使用倒角距离匹配来更新所述位置。可以使用所述组织边缘二值图的裁剪版，并且所述方法还可以包括选择相对于粗略模式配准改进了匹配的最小成本窗口。
由注释和配准模块105执行的另一示例性配准方法可以包括同标记的基于线的配准操作，包括用线段对在载片中反映出的组织样本的边界区进行建模，然后在组织样本之间（即，在载片图像之间）匹配线段集以获得总体全局变换（即粗略匹配）。在一些实施例中，基于线的粗略匹配方法甚至能够在图像之间不匹配的情况下（例如，磨损效应，当由用于高分辨率扫描的扫描器拾取的物理载片的区域在相邻切片之间变化、旋转多达190度并且水平竖直翻转时可能发生的感兴趣区域不匹配），诸如当在两个图像之间大于50%的线可能匹配时对齐图像。在另外的实施例中，可以执行涉及到在梯度量值图像上进行的归一化的、基于相关的块匹配的附加的更精细的子图像配准过程以计算全局对齐的图像之间的局部细化。参考共同受让且共同未决的美国专利申请61/885024进一步描述了该配准方法，藉此将所述申请的内容通过引用整体地并入到本文中。该同标记配准方法可以在研磨图像表示未着色载片时使用，并且所述注释预期被从研磨图像映射到研磨载片的实况图像捕捉。可以使用任何其它配准方法，只要其以使得能够基于已注释的参考载片实现感兴趣区域的精确研磨或使得能够实现已着色和未着色载片的配准的方式跨具有不同着色剂的图像提供注释的自动化映射。
可以将与患者相关联的图像（包括任何已注释图像、参考图像和研磨图像）以及任何附加的元数据（包括以XML或其它格式的注释）和分析物信息存储在项目数据库106中。项目数据库106使得成像子系统100能够将一个或多个项目或图像集合以及注释导出到其它外部系统，诸如研磨子系统110。项目数据库106可以包括或包含图像管理系统（IMS）。
如本文中所述，可以将研磨图像的注释导入到现存的中间解剖系统或研磨系统（诸如研磨子系统110）中，从而改进使用高分辨率研磨注释用于打算由研磨子系统110进行解剖的研磨载片的实况图像的能力。研磨子系统110可以包括用于将一个或多个组织载片或研磨载片中间解剖到与图像项目或待诊断患者相关联的特定容器中的硬件和软件。例如，研磨子系统110可以包括存储器111，其存储由被耦合到计算机114的处理器113执行的多个处理模块或逻辑指令。除了处理器113和存储器111之外，计算机114还可以包括用户输入和输出设备，诸如键盘、鼠标、触笔、显示器/触摸屏和联网元件。例如，在存储器111内的处理模块的执行可以通过用户输入以及由通过网络从网络服务器或用于存储并稍后由计算机114检索的数据库提供的输入来触发。
研磨子系统110还可以包括成像和研磨组件112（诸如安装在研磨平台上的相机）以及用于将已研磨或已解剖组织捕捉到加标签容器中的硬件。通常，该相机是具有比用于数字化组织载片的数字病理学系统的放大率更低的放大率的相机。可以将诸如组织载片之类的对象附着到能够实现受控的X和Y轴移动的平台或载台，使得其可以相对于固定的旋转切割刀头被驱动，从而对所述对象塑形。塑料研磨刀头可以同时分发液体、切割组织并将组织碎片从载玻片的表面抽出。因为组织相比于玻璃相对较软，因此可以使用受弹簧压力控制的系统使得刀片停留在载片表面上以足够的向下的力来切割通过组织而滑过载玻片。从载玻片研磨组织还提供将数字显微镜置于载片下方以便查看过程、引导解剖和生成数字文档资料的机会。
研磨子系统112的存储器111可以存储导入和配准模块115以将注释和图像从成像子系统100导入并导入到控制研磨硬件112以基于所述注释来解剖组织载片。一般地，现有技术研磨系统包括提供使得用户能够数字化地指示感兴趣区域或在研磨载片的放大的实况视图之上手动地对齐所导入的已注释参考图像的接口的软件。然而，本实施例的导入和配准模块115使得能够使用诸如同标记配准操作之类的配准操作来实现注释从来自项目数据库106的任何载片到研磨载片的实况捕捉的自动化映射以使得能够实现更精确的解剖。可以以用户指定的缩放水平来捕捉研磨载片的实况图像。注释可以被导入为.XML文件，或者XML和图像文件的任何组合，以使得能够将注释转译成使得能够将注释映射到研磨载片的图像的格式。XML文件可以包括关于包括和排除感兴趣区或区域的注释的多面体和轮廓的几何信息。可以导入来自多个参考图像的注释，以使得能够从研磨载片解剖多个感兴趣区域。可以导入高分辨率注释以改进研磨质量。
导入注释消除了对加载参考载片或将参考图像导入到研磨子系统110中的需要。通过提供成像子系统100与研磨子系统110之间的实时通信并通过提供在两个子系统中共同的配准机构，成像子系统100的数字病理学工作站的操作者与研磨子系统100的实况捕捉组件进行交互可以是可能的。例如，在本主题公开的示例性实施例中，导入和配准模块115可以将由成像和研磨组件112捕捉的研磨载片的实况图像导出到成像子系统100。可以在成像子系统100上将注释配准到实况图像上，并将研磨注释提供给研磨控制模块116以控制研磨过程。这使得数字病理学工作站上的远程操作者能够控制外部研磨子系统上的研磨操作。
此外，来自存储在项目数据库106中的以不同方式着色的载片的注释的通用导入使得一旦移除了盖玻片就不仅能够解剖未着色的组织载片，还能够解剖已着色的组织载片。在本主题公开的一些实施例中，被用作参考图像的相同组织也可以用于研磨目的。可以使用同标记配准操作来跨用相同分析物着色的图像转移注释，而可以使用标记间或基于特征的配准来将注释映射到未着色图像。例如，可以如上所述的那样在成像子系统100上注释表示未着色载片的研磨图像，将其导入到研磨子系统110中，并映射到未着色载片的实况图像上以指导研磨控制模块116解剖该未着色载片。附加地，导入注释的能力使得能够将所述注释从（如上所述的那样在整体载片扫描器上数字化的）多个参考图像映射到单个或一组多个研磨载片以用于组织解剖。例如，在给定了来自一患者的其中可以单独地数字化和注释多个单独的生物标记载片（诸如H&E、ER、PR、HER2、ISH等）的组织块的情况下，可以导入这些注释的任何期望的组合并将它们自动配准和映射到研磨载片的图像。除了将来自参考图像的注释映射到研磨载片图像之外，研磨子系统110还可以提供接口以在研磨之前微调或调节注释。可以以适合于成像和研磨组件112的分辨率并且取决于实况图像的缩放/放大水平将从成像子系统102导入的高分辨率研磨注释映射到实况图像。
研磨控制模块116通过遵循从研磨图像映射到研磨载片的实况图像的注释来对研磨载片执行解剖。研磨控制模块116还可以确定针对研磨的必要度量，包括基于注释确定研磨载片上的最佳研磨路径，以及确定所需移液管的直径和要对打算用于解剖的组织分发的液体的最佳体积。该基于生成自高分辨率配准和映射的研磨注释的自动化研磨降低了技术人员或人类操作者手动地注释研磨载片图像的负担。此外，为了使得能够实现灵活的功能性并用于不同目的，可以在研磨系统上更新的研磨注释可以被保存到计算机存储并被导入回到数字病理学软件应用中以用于任何之后的使用。从而改进了跨平台的注释和配准。随后将基于注释研磨的组织提取到（一个或多个）容器中用于分析，所述容器与项目、或待诊断患者相关联地加标签。例如，可以有与单个研磨载片相关联的多个容器，即，针对每个正解剖的组织类型或区一个容器。替换地或附加地，可以对多个研磨载片加条形码或以其它方式加标签以对应于对应的多个容器。可以与跟特定组织标本相关联的分析结果一起跟踪容器。所述分析可以是任何类型的分析，诸如分子和/或基因序列分析。还可以使用类似的加标签机制来跟踪分析结果，所述加标签机制将项目中的参考/研磨图像、用于生成已研磨组织的特定注释以及容器与生物标本或患者记录相链接。
如上所述，模块包括由处理器105和115执行的逻辑。如本文中使用且遍及本公开的“逻辑”指的是具有可以被应用以影响处理器的操作的指令信号和/或数据的形式的任何信息。软件是此类逻辑的一个示例。处理器的示例是计算机处理器（处理单元）、微处理器、数字信号处理器、控制器和微控制器等。逻辑可以由存储在计算机可读介质（诸如存储器101和111）上的信号形成，所述计算机可读介质在示例性实施例中可以是随机存取存储器（RAM）、只读存储器（ROM）、可擦/电可擦可编程只读存储器（EPROM/EEPROM）、闪速存储器等。逻辑还可以包括数字和/或模拟硬件电路，例如，包括逻辑和、或、异或、与非、或非和其它逻辑操作的硬件电路。逻辑可以由软件和硬件的组合形成。在网络上，逻辑可以被编程在服务器或服务器复合体上。特定的逻辑单元不限于网络上的单个逻辑位置。此外，所述模块不需要以任何特定顺序来执行。每个模块可以在需要被执行时调用另一模块。
图2描绘根据本主题公开的示例性实施例的包括组合式成像子系统和研磨子系统的数字病理学系统200。图2的实施例组合了图1的成像子系统100和研磨子系统110，得出了包括用于经由成像组件202生成一个或多个分析物的图像以及用于使用研磨组件212执行中间解剖的硬件和软件的系统200，其中成像和研磨组件二者都通过存储于例如存储器201上的共同的软件应用来控制和操作，存储器201存储由被耦合到计算机204的处理器203执行的多个处理模块或逻辑指令。除了处理器203和存储器201之外，计算机204还可以包括用户输入和输出设备，诸如键盘、鼠标、触笔、显示器/触摸屏和联网元件。例如，在存储器201内的处理模块的执行可以通过用户输入以及由通过网络从网络服务器或用于存储并稍后由计算机204检索的数据库提供的输入来触发。
如参考成像子系统100所述的那样，系统200的成像组件202包括安装在显微镜或物镜上的相机，或者具有显微镜和/或能够以20X或40X放大率捕捉RGB或荧光图像的高分辨率相机的整体载片扫描器，以及用于生成研磨载片的实况图像的相机。物理载片加载和处理系统、用于保持组织载片的x-y载台、诸如相机的光学成像组件、物镜和用于扫描和用于研磨的其它相关联的硬件可以是独立的或者在扫描组件和研磨组件之间共享。可以添加到该集成系统的附加的硬件和软件适配，包括用以将组织载片从整体载片扫描子系统转移到中间解剖系统的任何硬件以及用于将提取出的组织容器自动地加载和卸载到研磨喷嘴中的任何机器人仪器和相关联的硬件。成像组件202可以用于生成对应于组织块的连续切片的多个图像，其中每个连续切片都被安装在单独的载片上并用着色剂和生物标记的不同组合来着色，从而得出描绘相邻组织切片的多个分析物。系统200也可以共享硬件，例如可以使用相同的载台和相同的相机用于扫描和研磨。可以以由病理学家指定的任何缩放水平来扫描图像，并且可以从任何类型的生物特征来描绘该图像，所述生物特征诸如H&E或任何其它IHC、ISH、细胞学（小便器、血液涂片薄制备、风干、触摸制备、细胞块）CTC和/或感兴趣的血液学载片。由成像组件202向存储器201提供这些图像和其它信息（诸如关于目标组织类型或对象的信息）以及对着色和/或成像平台的标识（哪些且有多少特定抗体分子联结到了组织上的某些联结部位或目标（诸如肿瘤标记或特定免疫细胞的生物标记等））以根据存储于其上的逻辑模块进行处理。
注释模块205可以接收所述图像并可以使得能够选择图像的各部分的注释，并且配准模块215可以使得能够将这些注释配准到相邻的组织载片的图像，如上所述的那样。例如，可以提供使得用户能够制定感兴趣区域或对象并对这些感兴趣区域加标签和注释以用于研磨或用于其它诊断和处理目的的接口。还可以使用图像分析操作来自动生成注释。可以调用配准模块215以将注释从已注释图像转移到一个或多个相邻图像，包括研磨图像。配准模块215可以执行标记间或同标记配准操作的任何组合。例如，用着色剂和标记的不同组合的跨分析物的配准操作使用标记间操作，诸如参考共同受让且共同未决的欧洲专利申请WO2014140070A2进一步描述的方法，藉此将所述申请的内容通过引用整体地并入到本文中。可以通过同标记配准操作来执行用相同着色剂组合的跨分析物的配准操作，诸如参考共同受让且共同未决的美国专利申请61/885024描述的那些，藉此将所述申请的内容通过引用整体地并入到本文中。可以使用任何其它配准方法，只要其以使得能够基于已注释的参考载片实现感兴趣区域的精确研磨或使得能够实现已着色和未着色载片的配准的方式跨具有不同着色剂的图像提供注释的自动化映射。
可以将与生物标本相关联的图像（包括任何已注释图像、参考图像和研磨图像）以及任何附加元数据（包括注释）和分析物信息存储在项目数据库中或存储在存储图像以及注释的联网服务器中，其被示出在项目数据库206中。可以以能够交换注释数据的任何格式来保存注释，诸如XML、JSON、SQL、INI或二进制数据或其它格式。项目数据库206可以包括图像管理系统（IMS）以用于存储参考和研磨载片的高分辨率图像以及组织块的其它图像。可以使用来自项目数据库206的注释的任何组合来生成研磨注释以用于预期被解剖的研磨载片的实况图像。例如，配准模块215使得能够使用标记间或同标记配准来实现注释从来自项目数据库206的任何载片到研磨载片的实况捕捉的自动化映射以使得能够实现更精确的解剖。例如，同标记配准可以用于将注释从研磨载片配准到安装在研磨组件212上的研磨载片的实况图像捕捉。所述实况图像可以是由包括安装在由研磨组件212包括的研磨平台或载台上的相机的成像组件202生成的，研磨组件212还可以包括用于将已研磨或已解剖组织捕捉到加标签容器中的硬件。可以以与原始捕捉的参考/研磨图像的缩放水平相同或不同的用户指定的缩放水平来捕捉实况图像。也可以用不同的一组相机参数来共同地使用用于整体载片扫描的相机来捕捉研磨载片的实况图像捕捉。
研磨控制模块216可以通过遵循从研磨图像映射到研磨载片的实况图像的注释来对研磨载片执行解剖。研磨控制模块216还可以确定针对研磨的必要度量，包括基于注释确定研磨载片上的最佳研磨路径，以及确定所需移液管的直径和要对打算用于解剖的组织分发的液体的最佳体积。研磨/成像载台可以包括在其上安装研磨载片的x-y工作台。可以提供装置来移除作为已着色载片的任何研磨载片的盖玻片。随后将基于注释研磨的组织提取到容器中用于分析，所述容器与项目、或待诊断患者相关联地加标签。所述分析可以是任何类型的分析，诸如分子和/或基因序列分析。还可以使用类似的加标签机制来跟踪分析结果，所述加标签机制将项目中的参考/研磨图像、用于生成已研磨组织的特定注释以及容器与患者记录相链接。
如上所述，模块包括由处理器205和215执行的逻辑。如本文中使用且遍及本公开的“逻辑”指的是具有可以被应用以影响处理器的操作的指令信号和/或数据的形式的任何信息。软件是此类逻辑的一个示例。处理器的示例是计算机处理器（处理单元）、微处理器、数字信号处理器、控制器和微控制器等。逻辑可以由存储在计算机可读介质（诸如存储器201和211）上的信号形成，所述计算机可读介质在示例性实施例中可以是随机存取存储器（RAM）、只读存储器（ROM）、可擦/电可擦可编程只读存储器（EPROM/EEPROM）、闪速存储器等。逻辑还可以包括数字和/或模拟硬件电路，例如，包括逻辑和、或、异或、与非、或非和其它逻辑操作的硬件电路。逻辑可以由软件和硬件的组合形成。在网络上，逻辑可以被编程在服务器或服务器复合体上。特定的逻辑单元不限于网络上的单个逻辑位置。此外，所述模块不需要以任何特定顺序来执行。每个模块可以在需要被执行时调用另一模块。
图3描绘根据本主题公开的示例性实施例的用于使用分离的成像子系统和研磨子系统来进行中间解剖的方法。图3的方法可以由图1的子系统中描绘的模块的任何组合或者子系统和模块的任何其它组合来执行。例如，图3的方法可以如所示的那样由左侧的成像子系统300和右侧的研磨子系统310来执行。不需要以所示的特定顺序来执行在该方法中列出的步骤。成像子系统300可以包括用于生成一个或多个分析物的图像的硬件和软件。例如，成像子系统300可以包括整体载片扫描器，诸如Ventana iScan HT或iScan Coreo，以及整体载片图像检查和管理系统，诸如VIRTUOSO（RTM）或SCANSCOPE（RTM），或任何其它数字病理学工作站。成像子系统300还可以包括成像组件，诸如安装在显微镜上的相机或具有显微镜的整体载片扫描器。研磨子系统310可以包括用于将一个或多个组织载片或研磨载片中间解剖到与图像项目或待诊断患者相关联的特定容器中的硬件和软件。研磨子系统310还可以包括成像和研磨组件（诸如安装在研磨平台上的相机）以及用于将已研磨或已解剖组织捕捉到加标签容器中的硬件，如本文中进一步描述的那样。
成像子系统300可以生成并扫描（S301）对应于任何生物标本的组织块的连续切片的多个图像，所述连续切片诸如取自被认为患有癌症的患者的活体组织切片。可以将一个或多个图像指定为参考图像，其被呈现在接口上以使得用户能够指定感兴趣的区域或对象，并对这些感兴趣区域加标签和注释（S302）以用于研磨，或用于其它诊断和处理目的。可以进一步指定研磨图像用于随后的研磨。例如，研磨图像可以表示未着色组织切片。注释（S302）参考或研磨图像的各部分可以描绘在其处特定的生物标记表达较高的临床相关区（诸如免疫或肿瘤区）。注释可以是肿瘤的完整区或子区，或者任何其它生物上有意义的非肿瘤组成，诸如淋巴区、基质区、异质区、IHC标记子类型区等。注释还可以使用用于检测和/或分割（一个或多个）参考图像内的感兴趣区域或对象的图像分析操作来自动生成。例如，自动化图像分析操作可以检测期望的组织类型（诸如H&E载片中的肿瘤、淋巴区等）或在IHC着色的载片中的高标记表达的热点（比如任何肿瘤、免疫或血管标记肿瘤标记、免疫标记等）。参考图像可以描绘H&E载片。
将这些注释配准（S303）到相邻组织载片的图像可以包括将注释从所述已注释参考图像映射到一个或多个研磨图像。配准（S303）可以使用用于用着色剂和标记的不同组合的跨分析物的配准操作的标记间操作，诸如参考共同受让且共同未决的欧洲专利申请WO2014140070A2进一步描述的方法，藉此将所述申请的内容通过引用整体地并入到本文中。同标记配准操作可以用于跨表示以类似方式着色的载片的图像转移注释。可以将与患者相关联的图像（包括任何已注释图像、参考图像和研磨图像）以及任何附加的元数据（包括以XML或其它格式的注释）和分析物信息导出（S304）到项目数据库。例如，项目数据库106使得成像子系统100能够将一个或多个项目或图像集合以及注释导出到其它外部系统，诸如研磨子系统110。项目数据库106可以包括图像管理系统（IMS）。
如本文中所述，可以将研磨载片的高分辨率图像和高分辨率研磨注释导入到现存的中间解剖系统或研磨系统（诸如研磨子系统310）中，从而改进使用所述研磨注释用于打算由研磨子系统310进行解剖的研磨载片的实况图像的能力。在成像子系统300的图像获取期间的任何时间处，都可以将研磨子系统310加载（S311）有研磨载片，其中捕捉（S312）该研磨载片的实况图像。如果研磨载片打算被成像子系统300成像，那么研磨载片的加载（S311）必然发生在研磨载片的扫描（S301）之后。替换地，研磨载片的加载（S311）可以发生在创建（S304）图像项目的任何时间处。在任一情况下，可以导入（S313）来自项目的仅注释或已注释研磨或参考图像的任何组合。可以以用户指定的缩放水平来捕捉研磨载片的实况图像。注释可以被导入为.XML文件，或者XML和图像文件、或本文中描述的任何其它格式的任何组合，以使得能够将注释转译成使得能够将注释映射到研磨载片的图像的格式。可以使用标记间或同标记配准将注释配准（S314）到研磨载片的实况捕捉以使得能够实现更精确的解剖。假设参考图像与研磨图像相同或者研磨图像描绘与实况图像相同的未着色载片，那么可以使用同标记配准（S314）。
导入研磨图像的注释消除了对加载参考载片或将参考图像导入到研磨子系统310中的需要。通过提供成像子系统300与研磨子系统310之间的实时通信并通过提供在两个子系统中的配准机构，成像子系统300的数字病理学工作站的操作者与研磨子系统300的实况捕捉组件进行交互可以是可能的。此外，来自存储在项目数据库中的以不同方式着色的载片的注释的通用导入使得一旦移除了盖玻片就不仅能够解剖未着色的组织载片，还能够解剖已着色的组织载片。此外，导入多个注释的能力使得能够实现从多个参考图像到单个或多个研磨载片的注释映射以用于组织解剖。除了将来自参考图像的注释映射到研磨载片图像之外，研磨子系统310还可以提供接口以在研磨之前微调或调节注释。可以以适合于成像和研磨组件的分辨率并且取决于实况图像的缩放水平将从成像子系统300导入的高分辨率研磨注释映射到实况图像。
最终，可以通过遵循从参考或研磨图像映射到研磨载片的实况图像的注释来对研磨载片执行解剖（S315）。这包括确定针对研磨的必要度量，包括基于注释确定研磨载片上的最佳研磨路径，以及确定所需移液管的直径和要对打算用于解剖的组织分发的液体的最佳体积。随后将基于注释研磨的组织提取到容器中用于分析，所述容器与项目、或待诊断患者相关联地加标签。所述分析可以是任何类型的分析，诸如分子和/或基因序列分析。还可以使用类似的加标签机制来跟踪分析结果，所述加标签机制将项目中的参考/研磨图像、用于生成已研磨组织的特定注释以及容器与患者记录相链接。
如本文中所述的那样，在诸如数字病理学工作站的成像系统上的远程操作者控制在于成像子系统外部的远程研磨子系统上的研磨操作可以是可能的。图4描绘根据本主题公开的示例性实施例的用于使用分离的成像子系统和研磨子系统来进行中间解剖的这样的替换方法。图4的方法类似于图3的方法，因为其可以由图1的子系统中描绘的模块的任何组合或者子系统和模块的任何其它组合来执行。例如，图3的方法可以如所示的那样由左侧的成像子系统400和右侧的研磨子系统410来执行。成像子系统400可以包括用于生成一个或多个分析物的图像的硬件和软件。例如，成像子系统400可以包括整体载片图像管理系统，诸如VIRTUOSO（RTM）或SCANSCOPE（RTM），或任何其它数字病理学工作站。成像子系统400还可以包括成像组件，诸如安装在显微镜上的相机或具有显微镜的整体载片扫描器。研磨系统410可以包括用于将一个或多个组织载片或研磨载片中间解剖到与图像项目或待诊断患者相关联的特定容器中的硬件和软件。研磨子系统410还可以包括成像和研磨组件（诸如安装在研磨平台上的相机）以及用于将已研磨或已解剖组织捕捉到加标签容器中的硬件，如本文中进一步描述的那样。然而，由每个子系统执行的操作不同于图3的操作。
例如，成像子系统400可以生成并扫描（S401）对应于组织块的连续切片的多个图像，所述连续切片诸如取自被认为患有癌症的患者的活体组织切片。可以将一个或多个图像指定为参考图像，其被呈现在接口上以使得用户能够指定感兴趣的区域或对象，并对这些感兴趣区域加标签和注释（S402）以用于研磨，或用于其它诊断和处理目的。可以进一步指定研磨图像用于随后的研磨。例如，研磨图像可以表示未着色组织切片。
同时地或在图像获取之后的任何时间处，都可以将研磨子系统410加载（S411）有研磨载片，捕捉（S412）该研磨载片的实况图像。可以以用户指定的缩放水平来捕捉研磨载片的实况图像。可以将实况图像导出（S413）到成像系统以用于配准操作。所执行的配准操作可以取决于研磨图像是否与已注释参考图像相同的确定（S403）。如果研磨图像与已注释参考图像相同，那么可以使用同标记配准（S404）来映射注释。例如，研磨图像可以描绘与在实况图像中捕捉（S412）的载片相同的未着色载片。替换地，如果实况研磨图像与参考图像不同，即如果实况研磨图像使用了不同的着色剂组合，那么可以使用标记间配准（S405）来将注释从已注释参考图像映射到一个或多个研磨图像。
图4的方法因此消除了对研磨系统上的手动或自动化配准的任何需要。仅在数字病理学工作站/成像系统400上执行配准操作，并且由研磨子系统410导入（S414）最终已注释的实况研磨图像来执行解剖。这进一步使得能够在将已注释研磨图像提交到研磨子系统410之前将注释从多个以不同方式着色的载片映射到研磨图像。除了从成像子系统400导入注释之外，研磨子系统410还可以提供接口以在研磨之前微调或调节注释。最终，可以通过遵循所导入的注释来对研磨载片执行解剖（S415）。随后将基于注释研磨的组织提取到容器中用于分析，所述容器与项目、或待诊断患者相关联地加标签。
图5描绘根据本主题公开的示例性实施例的用于使用组合式成像子系统和研磨子系统来进行中间解剖的方法。图5的方法可以由图2的系统中描绘的模块的任何组合或者子系统和模块的任何其它组合来执行。例如，图5的操作可以由包括用于生成一个或多个分析物的图像以及用于执行中间解剖的硬件和软件的系统来执行，其中成像和研磨组件二者都通过存储于例如存储器上的共同的软件应用来控制和操作，该存储器存储由被耦合到计算机的处理器执行的多个处理模块或逻辑指令。此外，不需要以所示的特定顺序来执行在该方法中列出的步骤。
如参考图5所述的那样，可以用对待诊断患者的记录唯一的标识符来对来自与患者相关联的组织的连续切片的多个载片以及用于接收已研磨组织的容器加标签（S520），从而使得能够跟踪已研磨组织以及将已研磨组织与特定的注释和参考载片的关联。这确保了每个导入的参考图像和注释都正确地与特定的研磨操作和所得出的已研磨组织相关联，其全部都可以与电子病历相关联。将每个连续切片安装在单独的载片上并用着色剂和生物标记的不同组合来着色，从而得到描绘相邻组织切片的多个分析物。此外，可以使用成像组件502来扫描载片（S521）以生成对应于每个载片的图像。成像组件502可以包括安装在显微镜或具有显微镜的整体载片扫描器上的相机，以及用于生成研磨载片的实况图像（S525）的相机。用于扫描和用于研磨的成像组件502可以是独立的或是在扫描组件和研磨组件之间共享。可以以由病理学家指定的任何缩放水平来扫描（S521）图像，并且该图像可以描绘任何类型的生物特征，诸如H&E或任何其它IHC、ISH、细胞学（小便器、血液涂片薄制备、风干、触摸制备、细胞块）CTC和/或感兴趣的血液学载片。
对所生成的图像注释和加标签（S522）使得用户或自动化图像分析操作能够指定感兴趣区域或对象，并对这些感兴趣区域加标签和注释以用于研磨，或用于其它诊断和处理目的。可以配准（S523）注释以将注释从已注释图像转移到一个或多个相邻图像，包括研磨图像。可以使用标记间或同标记配准的任何组合。例如，用着色剂和标记的不同组合的跨分析物的配准操作使用标记间操作，诸如参考共同受让且共同未决的欧洲专利申请WO2014140070A2进一步描述的方法，藉此将所述申请的内容通过引用整体地并入到本文中。可以通过同标记配准操作来执行用相同着色剂组合的跨分析物的配准操作，诸如参考共同受让且共同未决的美国专利申请61/885024描述的那些，藉此将所述申请的内容通过引用整体地并入到本文中。可以使用任何其它配准方法，只要其以使得能够基于已注释的参考载片实现感兴趣区域的精确研磨或使得能够实现已着色和未着色载片的配准的方式跨具有不同着色剂的图像提供注释的自动化映射。可以将与患者相关联的图像（包括任何已注释图像、参考图像和研磨图像）以及任何附加的元数据（包括以XML或其它格式的注释）和分析物信息存储在项目数据库506中。例如，可以将图像和相关联的数据/元数据导出到图像管理系统（IMS）中。
可以取决于生物问题或预期诊断将来自项目数据库406中的任何一个或多个图像的注释自动映射到实况图像。例如，可以将被指定为研磨载片并且与患者或项目相关联地加标签的载片安装（S524）在研磨载台或平台（诸如x-y工作台）上，并且可以使用成像组件502或包括安装在研磨平台或载台上的相机的其它成像组件来生成（S525）实况研磨图像。可以以与原始捕捉参考/研磨图像的缩放水平相同或不同的用户指定的缩放水平来捕捉实况图像。可以使用标记间或同标记配准将来自项目数据库506中的任何载片的注释配准（S526）到研磨载片的实况图像以使得能够实现更精确的解剖。例如，可以使用同标记配准来将注释从已注释研磨图像配准到实况图像。
通过遵循被映射到实况图像的研磨注释来对研磨载片执行（S527）解剖。这包括手动程序或自动化机器人工具和仪器控制和命令软件以用于加载适当地加标签的容器、确定针对研磨的必要度量，包括基于注释确定研磨载片上的最佳研磨路径，以及确定所需移液管的直径和要对打算用于解剖的组织分发的液体的最佳体积，以及将基于所述注释研磨出的组织提取到加标签的容器中。
如本文中描述的那样，可以导入来自多个参考图像的注释，以使得能够从研磨载片解剖多个感兴趣区域。例如，用于研磨的注释可以从在单独的参考载片上指定的注释的排列或组合来生成。研磨注释可以是用户指定的和问题特定的——即，其被生成以回答特定的生物问题（比如肿瘤异质性、IHC4等）。例如，如果共同表达分析是重要的，则在标记参考载片中的每一个上指定单独的标记注释。在这种情况下，用以指示用于共同表达分析的特定区域的研磨注释是来自多个单独的载片注释的这些注释的逻辑交集。类似地，如果生物兴趣是包括来自全部标记的全部的已注释区，那么研磨注释是单独的（一个或多个）参考载片注释的逻辑并集。例如，对于乳腺癌患者，典型的连续IHC载片包括H&E载片、ER标记的载片、KR和PR标记的载片、Ki-67标记的载片和HER2标记的载片，每一个都具有针对其相应标记的表达的分离的注释。例如，在H&E载片中可以注释肿瘤和淋巴区。病理学家或生物学家可能对ER阳性和PR阴性或者全部标记都为PR阳性和Ki-67阴性的区或者用于分析的区的任何逻辑组合感兴趣。可以指定这些条件的多种组合以便自动生成研磨注释。在另一示例中，在给定了与组织块相关联的H&E载片、BRAFV600E着色的IHC载片的相邻的连续切片和PTEN着色的IHC载片的相邻的连续切片以及要识别在其中有BRAFV600E表达而没有PTEN表达的区的面积的生物问题的情况下，该方法可以分别识别（来自BRAFV600E载片的）BRAFV600E表达区和（来自PTEN载片的）PTEN非表达区，并且识别其中这些区域重叠在H&E载片上的区。所得出的研磨注释将会包括在H&E载片上的要中间解剖的这些重叠区域。可以指定肿瘤标记的任何组合或表达（诸如阳性/阴性）的组合以进一步理解组织标本的肿瘤环境。因此，如由潜在的生物问题所指示的，可以使用注释的若干逻辑排列和组合来构建该组研磨注释。研磨注释是由研磨系统用来将来自研磨载片中的每一个的组织钻孔并提取到如本文中进一步描述的指定的组织容器中的研磨注释。此外，用于生成研磨注释的高分辨率注释确保了以最小的原始数据（研磨组织）讹误来执行较高质量的研磨操作以用于分析。
如本文中描述的那样，可以将载片、其图像以及提取的组织样本/容器加标签有对于待诊断的患者的记录来说唯一的标识符，从而使得能够跟踪已研磨组织以及已研磨组织与特定研磨注释和一组参考载片的关联。这可以通过例如对上述工作流程的每个组件加条形码（或使用等价的唯一加标签系统）并将它们记录在图像管理系统（IMS）或电子病历（EPR）中来实现。因此，单个记录维护使用本文中描述的准确的注释配准和研磨操作增强了的全部分析和过程信息。这确保了每个导入的注释或一组注释都正确地与特定的研磨操作和所得出的已研磨组织相关联，其全部都可以与电子病历相关联。
此外，这使得能够通过环回分析结果与从该载片集合内的相同或不同载片解剖的附加组织样本的进一步分析实现组织标本的增强的分析。图6描绘根据本主题公开的示例性实施例的由本文中公开的系统和方法而使得能够实现的回环分析。可以如本文中描述的那样扫描（S631）、注释和配准（S632）、研磨（S633）以及分析（S634）组织，并且基于对已研磨组织执行的分析，可以确定工作流程的随后步骤，诸如决定注释和研磨来自相同或不同研磨载片的附加区以用于附加的、相同或不同类型的分子/基因分析，或者决定着色并创建附加的几组测试载片并使用它们用于注释和研磨。可以仅对已研磨组织执行该分析，或者该分析可以除了对研磨载片执行的分析之外还包括对参考或其它着色载片执行的任何分析或评分操作的组合。
来自H&E/IHC/ISH参考载片的分析信息可以与以几种方式从未着色载片中的提取组织获得的分子表达/基因序列信息相组合。例如，对于从组织载片解剖的不同的组织类型，一旦提取出肿瘤组织，就可以获得若干不同类型的分子和基因序列分析结果，包括qRT-PCR、PCR、NGS、DNA序列、mRNA序列、MeDIP序列、MRE序列、甲基特定PCR等。可以使用独立于参考载片执行的分析以及对从研磨载片提取的组织区执行的分析的组合来通过关联临床结果回答特定的生物假设。组合式分析可以包括使用从参考载片提取的图像特征以及从所提取的组织计算出的特征来回答特定的生物问题并关联临床结果。对于诸如早期乳腺癌患者的预判（使用IHC4分析）之类的特定生物学假设，分析操作可以通过关联组成信息与相关联的临床结果数据来集成从得自参考载片（H&E/IHC/ISH）组织图像分析的分析计算出的特征以及分子/基因特征数据/分析信息。这样的示例是潜在地使用来自此类工作流程的组成信息来在IHC4的上下文中预测早期乳腺癌患者。
此外，所公开的实施例的应用可以是用于临床前、临床和/或研究用途。所公开的操作可以用于临床诊断用于预判或预测目的、用于研究目的药物开发、制药工业的药物开发，并且可以作为指南不可知的/算法工作流程用于将患者分层为药物响应者和非响应者而是有用的。此外，除了诸如解剖或临床病理学、胸/蔓延/肺/结直肠/胃癌诊断等之类的医疗应用之外，也可以执行相同的方法以分析其它类型的样本，诸如地质学或天文学数据的远程感测等。本文中公开的操作可以被导入到硬件图形处理单元（GPU）中，以使得能够实现多线程的并行实现。
计算机通常包括已知组件，诸如处理器、操作系统、系统存储器、存储器存储设备、输入输出控制器、输入输出设备以及显示设备。相关领域中普通技术人员还将理解的是，由许多可能的计算机配置和组件，并且还可以包括高速缓冲存储器、数据备份单元以及许多其它设备。输入设备的示例包括键盘、光标控制设备（例如，鼠标）、麦克风、扫描器、触摸屏等。输出设备的示例包括显示设备（例如，监控器或投影器）、扬声器、打印机、网卡等。显示设备可以包括提供视觉信息的显示设备，该信息通常可以在逻辑上和/或物理上被组织为像素阵列。也可以包括接口控制器，其可以包括各种已知的或未来的用于提供输入和输出接口的软件程序中的任何。例如，接口可以包括一般称为“图形用户接口”（通常称为GUI）的向用户提供一个或多个图形表现的接口。通常启用接口以接受使用相关领域普通技术人员已知的输入或选择部件的用户输入。接口还可以是触摸屏设备。在相同或替换实施例中，在计算机上的应用可以采用包括称为“命令行接口”（通常称为CLI）的接口。CLI通常提供应用和用户之间的基于文本的交互。通常，命令行接口通过显示设备作为文本行来呈现输出并接收输入。例如，一些实现可以包括称为“壳（shell）”的接口，诸如相关领域中普通技术人员已知的Unix Shell或采用面向对象型编程架构（诸如微软.NET框架）的微软WindowsPowershell。
相关领域普通技术人员将领会到的是，接口可以包括一个或多个GUI、CLI或其组合。处理器可以包括商业上可得到的处理器，诸如由英特尔公司制造的赛扬、酷睿或奔腾处理器，由Sun微系统制造的SPARC处理器，由AMD公司制造的速龙、闪龙或皓龙处理器，或者其可以是现在可得到或将来可得到的其它处理器中的一个。处理器的一些实施例可以包括称为多核处理器和/或被启用以在单个或多个核心配置中采用并行处理技术的处理器。例如，多核架构通常包括两个或更多个处理器“执行核心”。在本示例中，每个执行核心可以作为启用多线程并行执行的独立的处理器来实行。此外，相关领域中普通技术人员将领会的是，处理器可以被配置成通常称为32或64位架构的处理器，或者现在已知或在将来可能开发的其它架构配置。
处理器通常执行操作系统，其可以例如是来自微软公司的Windows型操作系统；来自苹果计算机公司的Max OS X操作系统；可从许多销售商或称为开源的提供者得到的Unix或Linux型操作系统；另一或未来的操作系统；或其某组合。操作系统以公知方式与固件和硬件对接，并促进处理器协调并执行可以以各种编程语言编写的各种计算机程序的功能。操作系统通常与处理器合作来协调并执行计算机的其它组件的功能。操作系统还提供调度、输入输出控制、文档和数据管理、存储器管理以及通信控制和相关服务，这些全部都根据已知技术。
系统存储器可以包括各种已知的或未来的存储器存储设备中的任何，其可以用于存储期望的信息并且可以由计算机访问。计算机可读存储介质可以包括以任何方法或技术实现的用于存储信息（诸如计算机可读指令、数据结构、程序模块或其它数据）的易失性和非易失性、可移除和不可移除介质。示例包括任何通常可用的随机存取存储器（RAM）、只读存储器（ROM）、电可擦可编程只读存储器（EEPROM）、数字通用盘（DVD）、磁性介质（诸如常驻硬盘或带）、光学介质（诸如读和写紧凑盘）或其它存储器存储设备。存储器存储设备可以包括各种已知或未来设备中的任何，包括紧凑盘驱动、磁带驱动、可移除硬盘驱动、USB或闪驱或软盘驱动。此类存储器存储设备通常从程序存储介质（诸如相应地，紧凑盘、磁带、可移除硬盘、USB或闪驱或软盘）读取和/或向其写入。这些程序存储介质或现在使用中或稍后可能开发的其它程序存储介质中的任何可以被视为计算机程序产品。如将领会到的，这些程序存储设备通常存储计算机软件程序和/或数据。计算机软件程序（也称为计算机控制逻辑）通常被存储在连同程序存储设备一起使用的系统存储器和/或与存储器存储设备中。在一些实施例中，计算机程序产品被描述成包括具有存储于其中的控制逻辑（计算机软件程序，包括程序代码）的计算机可用介质。所述控制逻辑当由处理器执行时促使处理器实行本文中描述的功能。在其它实施例中，主要使用例如硬件状态机来在硬件中实现一些功能。实现硬件状态机以便执行本文中描述的功能对于相关领域中技术人员将是显而易见的。输入输出控制器可以包括各种已知的用于接受并处理来自用户的信息的设备中的任何，不论所述用户是人类还是机器，不论是所述用户本地的还是远程的。此类设备包括例如调制解调卡、无线网卡、网络接口卡、声卡或用于各种已知输入设备中的任何的其它类型的控制器。输出控制器可以包括用于各种已知的用于向用户呈现信息的显示设备中的任何的控制器，不论所述用户是人类还是机器，不论所述用户是本地的还是远程的。在当前描述的实施例中，计算机的功能元件经由系统总线与彼此通信。计算机的一些实施例可以使用网络或其它类型的远程通信来与一些功能元件通信。如对于相关领域中技术人员来说将显而易见的，仪器控制和/或数据处理应用，如果实现在软件中的话，可以被加载到系统存储器和/或存储器存储设备中并从其中执行。仪器控制和/或数据处理应用中的全部或部分还可以驻留在只读存储器或存储器存储设备的类似设备中，这样的设备不要求仪器控制和/或数据处理应用最先通过输入输出控制器来加载。相关领域中技术人员将理解的是，仪器控制和/或数据处理应用或其部分可以由处理器以已知方式加载到系统存储器或高速缓冲存储器或二者中以便有利于执行。此外，计算机可以包括存储在系统存储器中的一个或多个库文件、实验数据文件和内部客户端。例如，实验数据可以包括与一个或多个实验或分析物相关的数据，诸如检测信号值或与一个或多个合成测序（SBS）实验或过程相关联的其它值。此外，内部客户端可以包括被启用以使用网络访问另一计算机上的远程服务的应用，并且可以例如包括一般称为“网络浏览器”的应用。在本示例中，一些通常采用的网络浏览器包括可从微软公司得到的微软Internet Explorer，来自Mozilla公司的Mozilla Firefox，来自苹果计算机公司的Safari，来自谷歌公司的谷歌Chrome，或当前在本领域中已知或将来要开发的其它类型的网络浏览器。此外，在相同或其它实施例中，内部客户端可以包括被启用以经由网络访问远程信息的专用软件应用（诸如用于生物应用的数据处理应用）或者可是其具有的元件。
网络可以包括本领域普通技术人员公知的许多各种类型的网络中的一个或多个。例如，网络可以包括局域网或广域网，其可以采用适用于通信的通常称为TCP/IP协议的协议。网络可以包括包含世界范围的互连计算机网络系统（通常称为互联网）的网络，或者也可以包括各种内联网架构。相关领域中普通技术人员还将领会到的是，在联网环境中的一些用户可能更喜欢采用一般称为“防火墙”（有时也称为分组过滤器或边界保护设备）的技术来控制从和到硬件和/或软件系统的信息通信量。例如，防火墙可以包括硬件或软件元件或者其某种组合，并且通常被设计成执行由用户（诸如例如，网络管理员等）落实的安全策略。

Claims (23)

1.一种用于组合式数字病理学和中间解剖的仪器，包括：
处理器；以及
被耦合到所述处理器的存储器，所述存储器用于存储计算机可读指令，所述计算机可读指令当被所述处理器执行时促使所述处理器实行包括以下各项的操作：
使用标记间配准操作来将注释从第一图像映射到包括研磨图像的多个相邻图像中的一个或多个；以及
随后基于所述注释解剖对应于所述研磨图像的研磨载片；
其中所述注释被映射到所述研磨载片的实况图像。
2.根据权利要求1所述的仪器，其中，所述第一图像和所述多个相邻图像对应于组织块的连续切片。
3.根据前述权利要求中的任一项所述的仪器，其中，随后基于所述已注释实况图像来解剖所述研磨载片上的已注释感兴趣区域。
4.根据前述权利要求中的任一项所述的仪器，其中，所述第一图像和所述研磨图像对应于同一研磨载片。
5.根据前述权利要求中的任一项所述的仪器，其中，所述操作还包括基于所述注释生成研磨注释。
6.根据前述权利要求中的任一项所述的仪器，其中，所述一个或多个注释包括XML数据。
7.根据前述权利要求中的任一项所述的仪器，其中，所述操作还包括将来自所述研磨载片的所述一个或多个注释和已研磨组织样本与患者相关联。
8.根据权利要求7所述的仪器，其中，所述关联包括使用唯一标识符。
9.根据权利要求7或8所述的仪器，其中，还将所述已研磨组织样本的分析结果与所述患者相关联。
10.根据前述权利要求中的任一项所述的仪器，其中，使用所述已研磨组织样本的分析结果来确定随后的扫描操作或随后的研磨操作中的一个或多个。
11.一种数字病理学仪器，包括：
处理器；以及
被耦合到所述处理器的存储器，所述存储器用于存储计算机可读指令，所述计算机可读指令当被所述处理器执行时促使所述处理器实行包括以下各项的操作：
注释组织块的多个连续图像中的第一图像；
将一个或多个注释从所述第一图像映射到研磨图像；以及
将所述研磨图像的所述一个或多个注释导出到研磨系统。
12.根据权利要求11所述的仪器，其中所述研磨系统基于所述一个或多个注释来解剖与所述研磨图像相关联的研磨载片，和/或其中所述研磨系统使用同标记配准操作来将所述注释从所述已注释研磨图像映射到研磨载片的实况图像。
13.根据权利要求11或12所述的仪器，其中，从所述第一图像到所述研磨图像的注释映射使用标记间配准操作。
14.一种中间解剖仪器，包括：
处理器；以及
被耦合到所述处理器的存储器，所述存储器用于存储计算机可读指令，所述计算机可读指令当被所述处理器执行时促使所述处理器实行包括以下各项的操作：
从成像系统导入一个或多个注释，其中所述一个或多个研磨注释指示组织标本的感兴趣区，所述组织标本是组织块的多个连续切片中的一个，并且其中所述一个或多个研磨注释是在被耦合到用于扫描所述组织标本的扫描器的工作站上生成的；
将所述一个或多个注释映射到研磨载片的实况图像以生成研磨注释；以及
基于所述研磨注释解剖所述研磨载片。
15.根据权利要求14所述的仪器，其中，到所述实况图像的注释映射是基于同标记配准操作。
16.根据权利要求14或15所述的仪器，其中，将所述注释转译到所述实况图像的坐标系。
17.一种用于组合式数字病理学和中间解剖的计算机实现的方法，包括以下步骤：
将注释从第一图像映射到包括研磨图像的多个相邻图像中的一个或多个；以及
随后基于所述注释解剖对应于所述研磨图像的研磨载片；
其中所述注释被映射到所述研磨载片的实况图像。
18.根据权利要求17所述的方法，其中，从所述第一图像到所述研磨图像的注释映射使用标记间配准操作，和/或其中，所述研磨系统使用同标记配准操作来将所述注释从所述已注释研磨图像映射到研磨载片的实况图像。
19.根据权利要求17或18所述的方法，其中，所述第一图像和所述多个相邻图像对应于组织块的连续切片。
20.根据权利要求17到19中的任一项所述的方法，其中，所述一个或多个研磨注释指示组织标本的感兴趣区，所述组织标本是组织块的多个连续切片中的一个，并且其中所述一个或多个研磨注释是在被耦合到用于扫描所述组织标本的扫描器的工作站上生成的。
21.一种用于组合式数字病理学和中间解剖的仪器，包括：
处理器；以及
被耦合到所述处理器的存储器，所述存储器用于存储计算机可读指令，所述计算机可读指令当被所述处理器执行时促使所述处理器实行根据权利要求17到20中的任一项所述的方法。
22.一种数字病理学仪器，被装备用于在根据权利要求17到20中的任一项所述的方法中使用，所述数字病理学仪器包括：
处理器；以及
被耦合到所述处理器的存储器，所述存储器用于存储计算机可读指令，所述计算机可读指令当被所述处理器执行时促使所述处理器实行包括以下各项的操作：
将注释从第一图像映射到包括研磨图像的多个相邻图像中的一个或多个；以及
将所述研磨图像的所述一个或多个注释导出到研磨系统。
23.一种中间解剖仪器，被装备用于在根据权利要求17到20中的任一项所述的方法中使用，所述中间解剖仪器包括：
处理器；以及
被耦合到所述处理器的存储器，所述存储器用于存储计算机可读指令，所述计算机可读指令当被所述处理器执行时促使所述处理器实行包括以下各项的操作：
从成像系统导入一个或多个注释，以及
基于所述注释解剖对应于所述研磨图像的研磨载片；
其中所述注释被映射到所述研磨载片的实况图像。
CN201680007754.7A 2015-01-31 2016-01-29 用于中间解剖的系统和方法 Pending CN107209092A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562110477P 2015-01-31 2015-01-31
US62/110477 2015-01-31
PCT/EP2016/051894 WO2016120433A1 (en) 2015-01-31 2016-01-29 Systems and methods for meso-dissection

Publications (1)

Publication Number Publication Date
CN107209092A true CN107209092A (zh) 2017-09-26

Family

ID=55404677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680007754.7A Pending CN107209092A (zh) 2015-01-31 2016-01-29 用于中间解剖的系统和方法

Country Status (6)

Country Link
US (3) US11125660B2 (zh)
EP (1) EP3250901A1 (zh)
JP (1) JP2018511036A (zh)
CN (1) CN107209092A (zh)
CA (1) CA2973645C (zh)
WO (1) WO2016120433A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015049233A1 (en) * 2013-10-01 2015-04-09 Ventana Medical Systems, Inc. Line-based image registration and cross-image annotation devices, systems and methods
WO2016120433A1 (en) 2015-01-31 2016-08-04 Roche Diagnostics Gmbh Systems and methods for meso-dissection
CA2973769C (en) 2015-01-31 2021-05-18 F. Hoffmann-La Roche Ag Systems and methods for meso-dissection
WO2018087155A1 (en) 2016-11-09 2018-05-17 F. Hoffmann-La Roche Ag Automated tissue dissection instrument and methods of using the same
CN110088804B (zh) 2016-12-22 2023-06-27 文塔纳医疗系统公司 基于原色和免疫组织化学图像的计算机评分
CN111602136A (zh) * 2018-01-11 2020-08-28 谷歌有限责任公司 使用载玻片重新染色创建组织病理学基准真值掩膜的方法
CN111727436B (zh) * 2018-02-15 2022-10-28 威里利生命科学有限责任公司 对未染色组织的病理学预测
EP3761032A1 (en) * 2019-07-03 2021-01-06 Xyall B.V. Determining region(s) for tissue dissection in pathology slides
CN115917594A (zh) * 2020-08-24 2023-04-04 文塔纳医疗系统公司 使用几何特征的整个载玻片注释转移
US20240037736A1 (en) * 2021-03-25 2024-02-01 Nec Corporation Inspection assistance device, inspection assistance method, and recording medium
WO2022225845A1 (en) * 2021-04-18 2022-10-27 Mary Hitchcock Memorial Hospital, For Itself And On Behalf Of Dartmouth-Hitchcock Clinic System and method for automation of surgical pathology processes using artificial intelligence
EP4177662A1 (en) 2021-11-09 2023-05-10 Roche Diagnostics GmbH Instrument for automatically dissecting a biological specimen on a slide

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103443609A (zh) * 2011-01-24 2013-12-11 N·B·阿迪 用于从材料样品中提取材料的装置、系统和方法
US20140098214A1 (en) * 2012-10-09 2014-04-10 Leica Microsystems Cms Gmbh Method for defining a laser microdissection region, and associated laser microdissection system
WO2014140070A2 (en) * 2013-03-14 2014-09-18 Ventana Medical Systems, Inc. Whole slide image registration and cross-image annotation devices, systems and methods

Family Cites Families (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US281695A (en) 1883-07-24 Combe
US3238889A (en) 1963-06-03 1966-03-08 Aero Spray Inc Piston drive mechanism
US3732858A (en) 1968-09-16 1973-05-15 Surgical Design Corp Apparatus for removing blood clots, cataracts and other objects from the eye
US4320761A (en) 1979-02-06 1982-03-23 Haddad Heskel M Surgical device for excision of tissue
US4679446A (en) 1985-09-09 1987-07-14 Baxter Travenol Laboratories, Inc. Multi-volume displacement pipette
JPS62292144A (ja) 1986-06-12 1987-12-18 旭光学工業株式会社 内視鏡用生検鉗子
US5218645A (en) 1991-03-29 1993-06-08 Cell Analysis Systems, Inc. Method and apparatus for separating cell objects for analysis
US5428690A (en) 1991-09-23 1995-06-27 Becton Dickinson And Company Method and apparatus for automated assay of biological specimens
JP3075315B2 (ja) * 1992-02-06 2000-08-14 オリンパス光学工業株式会社 顕微鏡システム
JPH07184908A (ja) 1993-12-27 1995-07-25 Sumitomo Bakelite Co Ltd 組織サンプル採取管付き外科手術用具
US5843657A (en) 1994-03-01 1998-12-01 The United States Of America As Represented By The Department Of Health And Human Services Isolation of cellular material under microscopic visualization
US5843644A (en) 1994-03-01 1998-12-01 The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services Isolation of cellular material under microscopic visualization using an adhesive/extraction reagent tipped probe
US6251516B1 (en) 1994-03-01 2001-06-26 The United States Of America As Represented By The Department Of Health And Human Services Isolation of cellular material under microscopic visualization
US5456125A (en) 1994-03-31 1995-10-10 Millipore Corporation Membrane cutter and retriever
US5511556A (en) 1994-04-11 1996-04-30 Desantis; Stephen A. Needle core biopsy instrument
CA2198544A1 (en) 1996-03-21 1997-09-22 Bayer Corporation Apparatus for simultaneous aspiration and dispensation of fluids
JP4113591B2 (ja) 1997-06-23 2008-07-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像誘導手術システム
AU758531B2 (en) 1997-09-25 2003-03-27 Macquarie Research Limited Apparatus for removing a sample from an array of samples and a cutting tool for use with that apparatus
DE19818425A1 (de) 1997-10-18 1999-07-15 Malte Dr Med Boehm Vorrichtung zur Handhabung von Proben für die membrangestützte Mikrodissektion
US7473401B1 (en) 1997-12-04 2009-01-06 Mds Analytical Technologies (Us) Inc. Fluidic extraction of microdissected samples
US5925834A (en) 1997-12-16 1999-07-20 Waters Investments Limited Autosampler syringe with compression sealing
KR100271053B1 (ko) 1998-09-21 2000-11-01 이정용 현미경을 이용한 종양세포 미세 절제장치
AUPP930099A0 (en) 1999-03-19 1999-04-15 Campbell Corporation Pty Ltd Improvements in apparatus and method for removing samples
DE19932032C2 (de) 1999-07-09 2003-07-24 Eppendorf Ag Vorrichtung zur Mikro-Dissektion von Gewebe
US6342143B1 (en) 2000-01-06 2002-01-29 Carnegie Mellon University Cutting tool for multiple sample retrieval from gelatinous material
US6565728B1 (en) 2000-06-08 2003-05-20 Elchrom Scientific Gel cutting and recovering device
US6790636B1 (en) 2000-06-14 2004-09-14 The United States Of America As Represented By The Department Of Health And Human Services Rapid fluorescent labeling of tissue for microdissection using fluorescent specific binding agents
WO2002037159A2 (en) 2000-11-03 2002-05-10 Arcturus Engineering, Inc. Road map image for automated microdissection
ATE499989T1 (de) 2000-12-18 2011-03-15 Protedyne Corp Extrudieren von gel für gel elektrophorese
US20020091441A1 (en) 2001-01-05 2002-07-11 Guzik Donald S. Focused beam cutting of materials
US6602071B1 (en) 2001-01-13 2003-08-05 M. Edmund Ellion Hand-held self-contained cleaning system
DE10102034A1 (de) 2001-01-18 2002-08-08 Leica Microsystems Objektträger, Mikrodissektionseinrichtung mit Objektträger und Verfahren zur Mikrodissektion
US6817256B2 (en) 2001-02-27 2004-11-16 Alfa Wassermann, Inc. Pipette sampling system
US20040053326A1 (en) 2001-03-14 2004-03-18 Emmert-Buck Michael R. Transfer microdessection
CA2345911C (en) 2001-05-02 2009-02-17 Joel S. Harris Sampling apparatus for material collection
KR100422278B1 (ko) 2001-05-04 2004-03-10 박용원 유전자 분석용 디엔에이 함유 겔 단편 자동 추출장치 및그것을 채용한 유브이 일루미네이터
US6702990B1 (en) 2002-02-05 2004-03-09 The Gel Company Spot picker
US20030179916A1 (en) 2002-02-06 2003-09-25 Magnuson Terry R. High-throughput cell identification and isolation method and apparatus
US7468161B2 (en) 2002-04-15 2008-12-23 Ventana Medical Systems, Inc. Automated high volume slide processing system
ES2556242T3 (es) 2002-04-26 2016-01-14 Ventana Medical Systems, Inc. Aparato de patología molecular automatizado que tiene plataformas de portaobjetos fijas
US20040142488A1 (en) 2002-07-15 2004-07-22 Gierde Douglas T. Method and device for extracting an analyte
ATE529188T1 (de) 2002-07-15 2011-11-15 Phynexus Inc Extraktionskolonnenvorrichtung
JP2004069666A (ja) 2002-08-08 2004-03-04 Tsuerun:Kk パラフィン切片の部分切り取りと整列させる技術
DE10254229B4 (de) 2002-11-20 2004-10-28 P.A.L.M. Microlaser Technologies Ag Positioniervorrichtung zum Positionieren einerAuffangvorrichtung eines Laser-Mikrodissektionssystems
JP3877213B2 (ja) 2003-02-07 2007-02-07 康彦 北山 アレイブロック作成方法とこれに使用される組織くりぬき装置
EP1603462B1 (en) 2003-02-25 2015-07-15 Devicor Medical Products, Inc. Biopsy device with variable speed cutter advance
US7185551B2 (en) 2003-05-22 2007-03-06 Schwartz H Donald Pipetting module
US20080235055A1 (en) 2003-07-17 2008-09-25 Scott Mattingly Laboratory instrumentation information management and control network
US8034003B2 (en) 2003-09-11 2011-10-11 Depuy Mitek, Inc. Tissue extraction and collection device
KR100498275B1 (ko) 2003-09-16 2005-06-29 주식회사 정우인터내셔날 미세 절제 시스템용 수집함 홀더 및 이를 채용한 미세절제 시스템용 스테이지 장치
KR100536462B1 (ko) 2003-09-16 2005-12-14 주식회사 정우인터내셔날 미세 절제 시스템의 스테이지 장치 이동용 매니퓰레이터
US7641859B2 (en) 2004-02-11 2010-01-05 Matrix Technologies Corporation Pipette tip mounting and ejection assembly and associated pipette tip
CN101018502A (zh) 2004-04-28 2007-08-15 塞西斯医药股份有限公司 非侵入式分析仪取样探针接口方法和装置
JP2007209360A (ja) 2004-07-29 2007-08-23 Nikkyo Technos Kk 試料採取具
US7276032B2 (en) 2004-09-29 2007-10-02 Ethicon Endo-Surgery, Inc. Biopsy apparatus and method
RU2305270C2 (ru) 2005-05-18 2007-08-27 Андрей Алексеевич Климов Способ флуоресцентной наноскопии (варианты)
DE102005061561A1 (de) 2005-12-22 2007-06-28 P.A.L.M. Microlaser Technologies Ag Laser-Mikrodissektionsverfahren, Steuersystem für eine Laser-Mikrodissektionsvorrichtung und Trägervorrichtung
DE102006000934A1 (de) 2006-01-05 2007-07-12 P.A.L.M. Microlaser Technologies Ag Mikrodissektionsverfahren und Mikrodissektionssystem
FR2895920B1 (fr) 2006-01-06 2008-04-18 Gilson Sas Soc Par Actions Sim Pipette multivolumes.
US8368749B2 (en) 2006-03-27 2013-02-05 Ge Inspection Technologies Lp Article inspection apparatus
JP2007286697A (ja) 2006-04-12 2007-11-01 Mastercard Internatl Japan Inc 支払い処理支援装置及び支払い処理支援方法
DE102006034245C5 (de) 2006-07-21 2014-05-28 Stratec Biomedical Systems Ag Positioniereinrichtung zur Positionierung von Pipetten
US9697582B2 (en) 2006-11-16 2017-07-04 Visiopharm A/S Methods for obtaining and analyzing images
US7794664B2 (en) 2006-11-16 2010-09-14 Idexx Laboratories, Inc. Pipette tip
TWI347176B (en) 2006-12-21 2011-08-21 Ind Tech Res Inst Dissecting device and method for cell and tissue
TWI316853B (en) 2006-12-29 2009-11-11 Ind Tech Res Inst Dissection device with tool changer
WO2009008843A1 (en) 2007-07-10 2009-01-15 National University Of Singapore Apparatus for forming a tissue array
US20100000383A1 (en) 2007-08-07 2010-01-07 Koos David S Microscope coupled tissue sectioning system
EP2053377A1 (de) 2007-10-22 2009-04-29 MMI GmbH Verfahren und Vorrichtung zur dreimimensionalen Mikrodissektion
CN201262598Y (zh) 2008-04-21 2009-06-24 浙江大学 一种伺服超声振动显微切割装置
US8545517B2 (en) 2008-06-06 2013-10-01 Restoration Robotics, Inc. Systems and methods for improving follicular unit harvesting
WO2010042217A1 (en) 2008-10-09 2010-04-15 Sti Medical Systems, Llc Process for preserving three dimensional orientation to allow registering histopathological diagnoses of tissue
JP2012508069A (ja) 2008-11-06 2012-04-05 エヌエックスセラ インコーポレイテッド 前立腺肥大症の治療のためのシステムおよび方法
EP2396654B1 (en) 2009-02-13 2016-02-10 The Regents of The University of California Composition and method for tissue-based diagnosis
CN102414716B (zh) 2009-04-28 2014-08-20 皇家飞利浦电子股份有限公司 显微剖切方法和信息处理系统
JP2010267092A (ja) * 2009-05-14 2010-11-25 Canon Inc 情報処理装置、情報処理方法
JP5215969B2 (ja) 2009-09-25 2013-06-19 パナソニックＥｓネットワークス株式会社 ネットワーク機器に対するネットワーク情報の設定方法
US8306758B2 (en) * 2009-10-02 2012-11-06 Dh Technologies Development Pte. Ltd. Systems and methods for maintaining the precision of mass measurement
US8784021B2 (en) 2009-11-05 2014-07-22 O'brien Dental Lab, Inc. Jig device and apparatus and method of making a dental prosthesis or pattern therefor
US8771978B2 (en) 2010-11-15 2014-07-08 Tissuevision, Inc. Systems and methods for imaging and processing tissue
TWI428113B (zh) 2010-12-15 2014-03-01 Metal Ind Res & Dev Ct 手術用切除裝置
US8329121B2 (en) 2011-02-22 2012-12-11 Hologic, Inc. Apparatus for preparing cytological specimens
EP2737454B1 (en) 2011-07-28 2019-01-23 Medetect AB Method for providing images of a tissue section
JP2013195133A (ja) * 2012-03-16 2013-09-30 Olympus Corp 画像作成装置、画像作成方法および画像作成プログラム
JP2013245998A (ja) * 2012-05-24 2013-12-09 Olympus Corp 組織分布計算方法
JP6105859B2 (ja) 2012-05-24 2017-03-29 日本無線株式会社 埋設物探査装置
US20130344500A1 (en) 2012-06-20 2013-12-26 Aratome, LLC Tissue adhesive substrates
JP6530314B2 (ja) 2012-10-03 2019-06-12 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 組み合わされた試料検査
US9798918B2 (en) 2012-10-05 2017-10-24 Cireca Theranostics, Llc Method and system for analyzing biological specimens by spectral imaging
JP6556993B2 (ja) * 2013-10-29 2019-08-07 エフ・イ−・アイ・カンパニー 断面形成用途のプロセス自動化のためのパターン認識を伴う差分画像化
US9547898B2 (en) 2014-03-26 2017-01-17 Sectra Ab Automated cytology/histology viewers and related methods
WO2016069794A1 (en) 2014-10-28 2016-05-06 Mikroscan Technologies, Inc. Microdissection viewing system
WO2016120433A1 (en) 2015-01-31 2016-08-04 Roche Diagnostics Gmbh Systems and methods for meso-dissection
CA2973769C (en) 2015-01-31 2021-05-18 F. Hoffmann-La Roche Ag Systems and methods for meso-dissection
DE102015108017A1 (de) 2015-05-20 2016-11-24 Leica Microsystems Cms Gmbh Verfahren und Untersuchungssystem zur Untersuchung und Bearbeitung einer mikroskopischen Probe
EP3323107B1 (en) 2015-07-16 2021-03-10 Koninklijke Philips N.V. Information transformation in digital pathology
JP6876062B2 (ja) 2016-01-26 2021-05-26 ヴェンタナ メディカル システムズ， インク． 自動ダイセクション、次世代シークエンシング、及び自動スライド染色装置を用いる、腫瘍のための予測診断ワークフロー
WO2020057746A1 (en) 2018-09-20 2020-03-26 Telefonaktiebolaget Lm Ericsson (Publ) Technique for performing analysis of an rtp flow

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103443609A (zh) * 2011-01-24 2013-12-11 N·B·阿迪 用于从材料样品中提取材料的装置、系统和方法
US20140098214A1 (en) * 2012-10-09 2014-04-10 Leica Microsystems Cms Gmbh Method for defining a laser microdissection region, and associated laser microdissection system
WO2014140070A2 (en) * 2013-03-14 2014-09-18 Ventana Medical Systems, Inc. Whole slide image registration and cross-image annotation devices, systems and methods

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NILS ADEY 等: "A mill based instrument and software system for dissecting slide-mounted tissue that provides digital guidance and documentation", 《BMC CLINICAL PATHOLOGY》 *
刘树伟 等主编: "《功能神经影像学》", 31 August 2011 *

Also Published As

Publication number Publication date
US11768136B2 (en) 2023-09-26
US20230393036A1 (en) 2023-12-07
US11125660B2 (en) 2021-09-21
JP2018511036A (ja) 2018-04-19
US20170322124A1 (en) 2017-11-09
US20210372889A1 (en) 2021-12-02
CA2973645C (en) 2020-09-15
WO2016120433A1 (en) 2016-08-04
EP3250901A1 (en) 2017-12-06
CA2973645A1 (en) 2016-08-04

Similar Documents

Publication Publication Date Title
CN107209092A (zh) 用于中间解剖的系统和方法
JP6816196B2 (ja) 包括的なマルチアッセイ組織分析のためのシステムおよび方法
US11860072B2 (en) Systems and methods for meso-dissection
CN102414716B (zh) 显微剖切方法和信息处理系统
US8320655B2 (en) Process and system for analyzing the expression of biomarkers in cells
JP2000513465A (ja) 生体組織の試料および体液の試料の自動顕微鏡支援検査方法
CN103558404A (zh) 一种基于数字切片的细胞dna自动检测和复核方法
CN108027968A (zh) 在数字病理学中的信息转换
Ghose et al. 3D reconstruction of skin and spatial mapping of immune cell density, vascular distance and effects of sun exposure and aging
Krenacs et al. Digital microscopy: the upcoming revolution in histopathology teaching, diagnostics, research and quality assurance
US9760678B2 (en) Systems and methods in digital pathology
Kucarov et al. Single cell position determination and transformation from static high-resolution digital image to laser-microdissector coordinate system using image processing techniques
Sabata Digital pathology imaging-The next frontier in medical imaging
Athelogou et al. Tissue Phenomics For Diagnostic Pathology
Lu et al. AI-Based Computational Pathology and Its Contribution to Precision Medicine
Luzio Evaluation of image registration performance and study of classification algorithm on histopathological images
Perkel Tissue microarrays: advancing clinical genomics: inspired by DNA biochips, an NIH postdoc opens the door to" pathomics".(Lab Consumer).
Garcia Automated Diagnosis of Seven Major Skin Tumors in Canines Using a Convolutional Neural Network (CNN) on H&E-Stained Whole Slide Images (WSI)
Ravi et al. A Review on the Evolution of Comprehensive Information for Digital Sliding of Pathology and Medical Image Segmentation
DELLA MEA et al. Proceedings of 11th European Congress on Telepathology and 5th International Congress on Virtual Microscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170926