CN112514001A - 评价组织样本纤维化的方法和系统 - Google Patents

评价组织样本纤维化的方法和系统 Download PDF

Info

Publication number
CN112514001A
CN112514001A CN201980051363.9A CN201980051363A CN112514001A CN 112514001 A CN112514001 A CN 112514001A CN 201980051363 A CN201980051363 A CN 201980051363A CN 112514001 A CN112514001 A CN 112514001A
Authority
CN
China
Prior art keywords
collagen
image
different types
fibrosis
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980051363.9A
Other languages
English (en)
Inventor
余严军
余洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agency for Science Technology and Research Singapore
Original Assignee
Agency for Science Technology and Research Singapore
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agency for Science Technology and Research Singapore filed Critical Agency for Science Technology and Research Singapore
Publication of CN112514001A publication Critical patent/CN112514001A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种评价组织样本纤维化的方法。所述方法包括：获得染色组织样本的染色图像，所述染色组织样本中的胶原蛋白被染色；基于所述染色图像生成多种不同类型的胶原蛋白图像，所述多种不同类型的胶原蛋白图像分别对应于多种不同类型的胶原蛋白；使用深度神经网络基于所述多种不同类型的胶原蛋白图像确定多种不同类型的胶原蛋白参数。所述多种不同类型的胶原蛋白包括门静脉胶原蛋白、原纤维胶原蛋白和隔膜胶原蛋白。所述多种不同类型的胶原蛋白图像是通过确定所述胶原蛋白是否满足预设的尺寸条件或相对于门管和中心静脉边界预设的距离条件而生成的。

Description

评价组织样本纤维化的方法和系统
交叉引用
本申请请求申请日为2018年7月30日的新加坡专利申请号10201806494Y的优先权，在此出于所有目的通过引用其全文并入本文。
技术领域
本发明总体涉及评价组织样本纤维化的方法和系统。
背景技术
纤维化是器官或组织在修复或反应过程中过量纤维结缔组织的形成。由于纤维化是由细胞外基质(Extracellular matrix,ECM)蛋白的病理性累积所定义，因此会导致受影响组织的瘢痕形成和增厚。从本质上讲，这是一种过度伤口愈合反应，会干扰正常的器官功能。如果组织损伤严重或反复损伤，或者伤口愈合反应本身失调，则组织修复的初始过程可能导致进行性不可逆的纤维化反应。因此，需要评价受影响组织中纤维化程度的进展或消退。例如，在病变的肝脏中，对组织样本的组织病理学检查是肝纤维化分期的首选，并且目前仍是评价肝纤维化的“金标准”。组织病理学特征例如ECM(尤其是胶原蛋白)的过度累积和/或实质性的消失被纳入用于疾病分期的描述性或半定量评分系统。评分系统的示例包括Knodell组织学活动指数(histological activity index,HAI)、Scheuer评分系统、Ishak评分系统、Metavir评分系统和Ishak改良评分系统。这些评分可用于监测病变肝脏的进展或消退。然而这些评分系统本质上是半定量的，并且受观察者内部和观察者之间的可变性的影响。例如，通常在临床环境中实施的Metavir评分系统是一种分类任务，主要是基于观察到的架构变化和纤维化变化，而不是定量测量纤维化含量。此外，观察者之间和观察者内部以及染色的变化可能会使疾病分期产生误差。
随着锁模激光器和高灵敏度光学传感器的发展，非线性光学显微镜(例如基于多光子激发荧光和多谐波生成的光学显微镜)已经使基于免染成像的诊断成为可行的方法。此外，使用这些成像方式随之生成大量数据，数个小组已探索使用基于机器学习的算法对肝纤维化阶段进行评分。例如，之前已经开发了使用基于机器学习的算法的系统来构建诊断工具，以改善肝脏纤维化的量化和评分。这些算法包括人工神经网络(ANN)、多项式逻辑回归(MLR)、支持向量机(SVM)和随机森林(RF)。例如，机器学习可用于预测、分类和评估肝纤维化/肝硬化以及乙型和丙型肝炎患者的治疗反应。但是，之前大多数基于机器学习的方法都依靠多光子显微镜技术来评价肝纤维化/肝硬化，例如二次谐波生成(second-harmonic generation,SHG)和双光子激发荧光(two-photon-excited fluorescence,TPEF)，但在临床实施中并不常用。此外，除了具有有限数量的提取特征之外，算法还需要在建模和分类之前使用从组织病理学角度根据图像的领域知识来进行特征提取。另外，各种算法的效用仍不清楚，因为它们通常是依赖个例的；并且没有一种现有的算法是完全自动化的，因为它们需要在某个阶段在病理学家指导下使用计算机算法进行图像分割和特征提取。
因此，需要提供一种组织纤维化评价方法/系统，其试图克服或至少改善常规组织纤维化评价方法/系统中的一个或多个缺陷。在这种背景下开发了本发明。
发明概述
根据本发明的第一方面，提供了一种使用至少一个处理器来评价组织样本纤维化的方法，所述方法包括：
获得染色组织样本的染色图像，所述染色组织样本中的胶原蛋白被染色；
基于所述染色图像生成多种不同类型的胶原蛋白图像，所述多种不同类型的胶原蛋白图像分别对应于多种不同类型的胶原蛋白；
使用深度神经网络基于所述多种不同类型的胶原蛋白图像确定多种不同类型的胶原蛋白参数；和
基于所述多种不同类型的胶原蛋白参数确定所述染色组织样本的纤维化程度。
根据本发明的第二方面，提供了一种用于评价组织样本纤维化的系统，所述系统包括：
至少一个与所述存储器通讯偶联的处理器，并配置为：
获得染色组织样本的染色图像，所述染色的组织样本中的胶原蛋白被染色；
基于所述染色图像生成多种不同类型的胶原蛋白图像，所述多种不同类型的胶原蛋白图像分别对应于多种不同类型的胶原蛋白；
使用深度神经网络基于所述多种不同类型的胶原蛋白图像确定多种不同类型的胶原蛋白参数；和
基于所述多种不同类型的胶原蛋白参数确定所述染色组织样本的纤维化程度。
根据本发明的第三方面，提供了一种计算机程序产品，包含在一个或多个非暂时性计算机可读存储介质中，所述计算机程序产品包括由至少一个处理器执行的指令，以实现评价组织样本纤维化的方法，所述方法包括：
获得染色组织样本的染色图像，所述染色组织样本中的胶原蛋白被染色；
基于所述染色图像生成多种不同类型的胶原蛋白图像，所述多种不同类型的胶原蛋白图像分别对应于多种不同类型的胶原蛋白；
使用深度神经网络基于所述多种不同类型的胶原蛋白图像确定多种不同类型的胶原蛋白参数；和
基于所述多种不同类型的胶原蛋白参数确定所述染色组织样本的纤维化程度。
附图说明
通过以下书面描述(仅作为示例)，并结合附图，对于本领域的普通技术人员来说，将更好地理解本发明的实施方案，并且对本领域的普通技术人员来说是显而易见的。
图1描绘了使用本发明的各实施方案的至少一个处理器评价组织样本纤维化的方法的示意性流程图；
图2描绘了本发明的各实施方案中用于评价组织样本纤维化的系统的示意性框架图，例如对应于图1中所示的方法；
图3描绘了可以包含本发明各实施方案的所述系统的示例性计算机系统；
图4示出了处理(或预处理)染色组织样本的染色图像以生成多种不同类型的胶原蛋白图像的示例性示意图；
图5示出了本发明的各示例性实施方案的评价组织样本纤维化的框架图；
图6示出了本发明的各示例性实施方案的评价组织样本纤维化的深度神经网络的示例性架构的图；
图7示出了不同常规技术的流程图，以及本发明的各示例性实施方案中的用于评价组织样本纤维化的技术或框架图；
图8A-8C示出了使用sqFibrosis和胶原蛋白比例面积(CPA)评价肝纤维化各个阶段的染色组织样本图像中胶原蛋白模式变化的示例性比较；
图9示出了使用未处理的染色图像、未分类为不同类型的已处理的胶原蛋白图像、以及已分类为不同类型的已处理的胶原蛋白图像和CPA的sqFibrosis指数的深度学习模型的性能评价的图。
图10A-10B分别示出了来自动物研究的各种样本大小的染色组织样本的染色图像，以及基于组织样本中纤维化的不同阶段评价的各种样本大小的sqFibrosis和CPA的AUROC值；
图11A-11B分别示出了来自动物研究的各种图像分辨率的染色组织样本的染色图像，以及基于组织样本中纤维化的不同阶段评价的各种图像分辨率的sqFibrosis和CPA的AUROC值；和
图12A-12B分别示出了来自动物研究的各种图像强度的染色组织样本的染色图像，以及基于组织样本中纤维化的不同阶段而评价的各种图像强度的sqFibrosis和CPA的AUROC值。
发明详述
本发明的各个实施方案提供了一种用于评价组织样本纤维化(例如，确定纤维化的程度或水平)的方法(计算机实现的方法)和系统(包括存储器和至少一个与所述存储器通讯偶联的处理器)。在各种实施方案中，提供了一种基于染色的组织样本的图像(在本文中可以称为“染色图像”)评价(例如分期)纤维化的全自动技术。例如，可以通过活检从动物或人体的各种解剖位置提取组织样本。例如，可以从待评价或确定纤维化的解剖结构(例如肝脏)中提取组织样本。本领域技术人员将理解，通过活检从动物或人体的其他解剖结构或位置提取的组织样本在本发明的范围内，例如但不限于肺、皮肤、胃、小肠和大肠等。因此，可以评价在解剖位置的纤维化，例如以确定解剖结构中纤维化的程度(例如程度、水平或阶段)。例如，确定的纤维化程度可用于预测、分类、诊断、评价病变解剖结构响应于组织中纤维化治疗的进展或消退。在各种实施方案中，用于在解剖结构或位置中进行纤维化分期的全自动技术可以使用现有染色组织样本(例如，已经使用染料染色以提供组织结构/形态的细节的组织样本)的图像。
图1描绘了使用本发明的各个实施方案中的至少一个处理器来评价组织样本纤维化的方法100(计算机实现的方法)的示意性流程图。所述方法100包括获得(在102处)染色组织样本的染色图像，所述染色组织样本中的胶原蛋白被染色；基于所述染色图像生成(在104处)多种不同类型的胶原蛋白图像，所述多种不同类型的胶原蛋白图像分别对应于多种不同类型的胶原蛋白；使用深度神经网络基于所述多种不同类型的胶原蛋白图像确定(在106处)多种不同类型的胶原蛋白参数；和基于所述多种不同类型的胶原蛋白参数确定(在108处)所述染色组织样本的纤维化程度。
例如，关于102，可以从待评价的动物或人体的解剖位置提取所述组织样本。在各种实施方案中，可以对所述组织样本中的胶原蛋白进行染色。例如，可以使用各种现有的染色技术对所述组织样本进行染色，以突出显示所述组织中包括胶原蛋白在内的相关组织形态或特征，以评价组织中的纤维化。可以获得所述染色组织样本的图像(染色图像)并进行处理以确定染色组织样本的纤维化程度。如本文所述的染色图像是指可以从图像捕获装置获得的染色组织样本的图像。在各实施方案中，所述图像捕获装置可以生成染色组织样本的染色图像，然后至少一个处理器可以获取(或接收)染色图像以进行处理，评价染色组织样本纤维化。作为非限制性示例，所述图像捕获设备可以是，或，包括：显微镜、组织扫描仪或其组合。
例如，关于104，可以对染色图像进行处理(或预处理)以识别和区分(或分离或分割)在所述染色图像中捕获的多种不同类型的胶原蛋白。例如，可以处理所述染色图像并根据组织病理学特征将所述染色图像中的胶原蛋白分类为不同类型(例如，不同类别或分类)。例如，可以识别出三种主要的不同类型的胶原蛋白，以评价解剖结构或位置中的纤维化，例如评价肝纤维化。在各实施方案中，如之后将在本发明的各个示例性实施方案中描述的，所述多种不同类型的胶原蛋白可以包括门静脉胶原蛋白(portal collagen)、原纤维胶原蛋白(fibrillar collagen)和隔膜胶原蛋白(septal collagen)。例如，可以通过识别或利用所述门静脉胶原蛋白、原纤维胶原蛋白和隔膜胶原蛋白以评价肝纤维化。应当理解，本发明不限于上述三种不同类型的胶原蛋白和用于肝纤维化的评价。例如，可以根据需要或适当地获得或识别其他类型的胶原蛋白和/或其他数量(例如，三种以上)的胶原蛋白。例如，其他类型和数量的病理相关特征，例如基于形态或结构和/或空间相关特征的所述组织中的其他胶原蛋白区域，也可以用于胶原蛋白类型的分类，以评价所述解剖结构的纤维化。在另一示例性实施方式中，可以在肝硬化内检测中从所述染色图像中识别出不同类型的胶原蛋白含量，例如，以便于区分胶原蛋白纤维的进行性/回归性分布模式，以进一步定义肝硬化的子类别。
在各实施方案中，上述生成多种不同类型的胶原蛋白图像包括生成对应于(例如，相对于或代表)所述染色图像中的组织的第一图像，以及生成对应于(例如，相对于或代表)所述染色图像中的胶原蛋白的第二图像。在各实施方案中，可以基于诸如K均值聚类的聚类技术来生成所述第一图像和所述第二图像。例如，可以根据K均值聚类基于Lab/RGB/HSV空间中像素的像素分布，对所述染色图像进行处理，以将胶原蛋白从组织(和/或背景)中分离出来。
在各实施方案中，上述生成多种不同类型的胶原蛋白图像进一步包括：生成对应于(例如，相对于或代表)所述第一图像中的门管和中心静脉的第三图像。例如，当所述第一图像记录了组织(例如，肝细胞)的信号时，所述门管和中心静脉可以由空白空间表示。在各实施方案中，可以基于像素的强度值来分离(或识别)对应于所述门管和中心静脉的像素。可以基于对应于所述门管和中心静脉的识别的像素生成所述第三图像。
在各实施方案中，上述生成多种不同类型的胶原蛋白图像还包括：基于所述第二图像生成第一二值化图像；基于所述第三图像生成第二二值化图像；以及基于所述第一和第二二值化图像生成多种不同类型的胶原蛋白图像。对于基于所述第二图像生成所述第一二值化图像，可以使用增强对比度来处理所述第二图像以增加胶原蛋白强度，并且可以使用自适应阈值转换为所述第一二值化图像。另外，在某些情况下，可以使用形态学闭合来连接断裂的胶原蛋白纤维和/或可以使用去斑点滤波器去除噪声。关于基于所述第三图像生成所述第二二值化图像，可以执行各种操作，包括例如但不限于Otsu阈值化、形态学开合和孔洞填充(hole-filing)操作，以使空间平滑。另外，可以去除小于预设尺寸(例如，一个肝细胞的尺寸)的空间和大于长轴长度至短轴长度的空间(例如，假定为正弦空间)。
在各实施方案中，所述多种不同类型的胶原蛋白图像包括第一类型胶原蛋白图像、第二类型胶原蛋白图像和第三类型胶原蛋白图像，并且所述基于所述第一二值化图像和第二二值化图像生成所述多种不同类型的胶原蛋白图像包括：基于所述第一二值化图像中满足预设尺寸条件的胶原蛋白，生成所述第一类型胶原蛋白图像；基于所述第一二值化图像中满足相对于所述第二二值化图像中门管和中心静脉的边界预设的距离条件的胶原蛋白生成第二类型胶原蛋白图像；和基于所述第一二值化图像中不满足预设的尺寸条件和预设的距离条件的胶原蛋白生成第三类型胶原蛋白图像。在非限制性示例中，所述预设尺寸条件可以是在所述第一二值化图像中具有小于预设值(例如10um2)面积的胶原蛋白纤维。例如，满足这种预设尺寸条件的胶原蛋白可以表示分布在组织中断裂的胶原蛋白。在非限制性示例中，相对于所述第二二值化图像中门管和中心静脉的边界预设的距离条件可以是预设的距离阈值，例如，相对于所述门管和中心静脉确定的截止距离。例如，可以首先选择来自所述门管和中心静脉的边界的像素，并且可以确定(或选择)截止距离以扩大所述选择的像素。可以基于在所述第一二值化图像中位于确定的截止距离内的胶原蛋白生成所述第二类型的胶原蛋白图像。所述第一类型胶原蛋白图像可以对应于第一类型胶原蛋白，所述第二类型胶原蛋白图像可以对应于第二类型胶原蛋白，并且所述第三类型胶原蛋白图像可以对应于第三类型胶原蛋白。在各实施方案中，所述第一类型胶原蛋白可以是原纤维胶原蛋白，所述第二类型胶原蛋白可以是门静脉胶原蛋白，所述第三类型胶原蛋白可以是隔膜胶原蛋白。
关于106，在各实施方案中，所述多种不同类型的胶原蛋白参数各自包括与所述染色组织样本中的所述多种不同类型的胶原蛋白中的对应类型的胶原蛋白有关的定量纤维化值。在各实施方案中，对应类型的胶原蛋白的所述定量纤维化值可以是所述染色组织样本中所述类型胶原蛋白的纤维化指数。例如，对于多种不同类型的胶原蛋白图像中的每种类型的胶原蛋白图像，所述深度神经网络可用于提取胶原蛋白图像中所述对应类型的胶原蛋白的胶原蛋白特征，以确定各自的胶原蛋白参数。可以根据所述类型的胶原蛋白确定各自的胶原蛋白参数。
在各实施方案中，所述深度神经网络可以包括多个深度神经子网络，例如多个深度卷积神经网络(DCNN)，以基于多种不同类型的胶原蛋白图像确定所述多种不同类型的胶原蛋白参数。在各实施方案中，所述深度神经网络包括分别对应于多种不同类型的胶原蛋白的多个深度神经子网络。所使用的每个深度神经子网络可以是预训练的DCNN。可以针对对应类型的胶原蛋白分别训练多个深度神经子网络，以生成或确定对应类型的胶原蛋白的相应胶原蛋白参数。换句话说，可以针对特定类型的胶原蛋白训练多个深度神经子网络中的每个深度神经子网络，并基于与该类型胶原蛋白对应的胶原蛋白图像，以确定该类型的胶原蛋白的各胶原蛋白参数。在各实施方案中，可以基于学习转移技术来预训练每个深度神经子网络。在各实施方案中，每个深度神经子网可以是改良的AlexNet-CNN。在各实施方案中，所述多个深度神经子网络中的每个深度神经子网络可被配置为基于与该类型的胶原蛋白相对应的胶原蛋白图像输出与对应胶原蛋白类型有关的定量纤维化值。例如，可以分别训练三个CNN以分别生成对应于所述第一类型胶原蛋白的第一定量纤维化值、对应于所述第二类型胶原蛋白的第二定量纤维化值和对应于所述第三类型胶原蛋白的第三定量纤维化值。
关于108，在各实施方案中，可以基于不同类型的胶原蛋白参数，使用多项式逻辑回归来确定所述组织样本的纤维化程度。例如，可以基于相应的门静脉胶原蛋白、原纤维胶原蛋白和隔膜胶原蛋白的确定的胶原蛋白参数来确定所述组织样本纤维化程度。在各实施方案中，在所述染色组织样本中确定的纤维化程度可以是最终的纤维化指数(其在本文中亦称为sqFibrosis指数)。例如，可以基于多种不同类型的胶原蛋白参数确定单个评价指标，以评价所述组织样本的纤维化。例如，可以基于所述第一定量纤维化值、所述第二定量纤维化值和所述第三定量纤维化值，使用逻辑回归确定单个评价度量。所述最终的纤维化指数结合了来自多种不同类型的胶原蛋白的预测结果(多种不同类型的胶原蛋白参数)。例如，可以进行所述对应类型的胶原蛋白的特征的统计分析以确定最终的纤维化指数。所述最终的纤维化指数可以根据Metavir评分系统F0-F4设置，并且可以作为纤维化进展的最终阶段指标。换句话说，可以在组织水平上生成单个指数(sqFibrosis)，用于以F0-F4评价纤维化。可以根据Metavir评分在一组预定义的最终纤维化指数中生成所述最终的纤维化指数，该评分可以指示所述组织(组织样本)中纤维化的阶段。
因此，本发明的各实施方案有利地提供了一种用于对组织样本纤维化进行分期或评分的全自动技术。在各种示例实施方案中，现有的染色组织样本可以用于评价其纤维化。此外，本发明的各实施方案即使使用有限数量的活检样本或临床信息也能够进行疾病诊断。
图2描绘了本发明的各实施方案中用于评价组织样本纤维化的系统200的示意性框架图，例如对应于本发明所述的本发明各个实施方案的用于评价所述组织样本纤维化的方法100。
所述系统200包括存储器204，至少一个与所述存储器204通讯偶联的处理器206，并配置为：获得染色组织样本的染色图像，所述染色组织样本中的胶原蛋白被染色；基于所述染色图像生成多种不同类型的胶原蛋白图像，所述多种不同类型的胶原蛋白图像分别对应于多种不同类型的胶原蛋白；使用深度神经网络基于所述多种不同类型的胶原蛋白图像确定多种不同类型的胶原蛋白参数；并基于所述多种不同类型的胶原蛋白参数确定所述染色组织样本的纤维化程度。
本领域技术人员应理解，至少一个处理器206可以被配置为通过由至少一个处理器206可执行的一组(多组)指令(例如软件模块)来执行所需的功能或操作。因此，如图2所示，所述系统200可以进一步包括图像获取模块(或电路)208，其配置为获取染色组织样本的染色图像；图像处理模块(或电路)210，其配置为基于所述染色图像生成多种不同类型的胶原蛋白图像；胶原蛋白参数确定模块(或电路)212，其配置为使用深度神经网络基于所述多种不同类型的胶原蛋白图像来确定多种不同类型的胶原蛋白参数；纤维化水平确定模块(或电路)214，其配置为基于所述多种不同类型的胶原蛋白参数来确定所述染色组织样本的纤维化程度。
本领域技术人员应理解，上述模块(或电路)不一定是分离的模块，并且在不脱离本发明范围的情况下，可以根据需要或适当地通过一个功能模块(例如，电路或软件程序)来实现或实施两个或更多个模块。例如，所述图像获取模块208、所述图像处理模块210、所述胶原蛋白参数确定模块212和/或所述纤维化水平确定模块214可以作为一个可执行软件程序(例如，软件应用程序，或例如简单地称为“app”)实现(例如，被编译在一起)，其例如可以存储在所述存储器204中并且可由至少一个处理器206执行，以执行根据各实施方案的如本文所述的功能/操作。
在各实施方案中，如图1所示，所述系统200对应于如上文所述的方法100。因此，根据各实施方案，配置为由至少一个处理器206执行的各种功能/操作可以对应于上文所述的方法100中的各种步骤或操作，并为了清楚和简明，在所述系统200中无需重复。换句话说，在所述方法中描述的各实施方案对于相应的系统(例如，也可以体现为设备)类似地有效。
例如，在各实施方案中，所述存储器204可以在其中分别存储所述图像获取模块208、所述图像处理模块210、所述胶原蛋白参数确定模块212和/或所述纤维化水平确定模块214，分别对应于如上文所述的方法100的各种步骤或操作，其可由至少一个处理器206执行，以执行如本文所述的相应功能/操作。
根据本公开中的各实施方案，可以提供计算系统、控制器、微控制器或提供处理能力的任何其他系统。可以认为这样的系统包括一个或多个处理器和一个或多个计算机可读存储介质。例如，前述的系统200可以包括处理器(或控制器)206和计算机可读存储介质(或存储器)204，其例如在本文所述的所执行的各种处理中使用。在各实施方案中使用的存储器或计算机可读存储介质可以是易失性存储器，例如DRAM(Dynamic Random AccessMemory，动态随机存取存储器)或非易失性存储器，例如PROM(Programmable Read OnlyMemory，可编程只读存储器)、EPROM(Erasable PROM，可擦除PROM)、EEPROM(ElectricallyErasable PROM)或闪存，例如浮栅存储器(floating gate memory)、电荷捕获存储器(charge trapping memory)、MRAM(Magnetoresistive Random Access Memory，磁阻随机存取存储器)或PCRAM(Phase Change Random Access Memory，相变随机存取存储器)。
在各实施方案中，“电路”可被理解为任何种类的逻辑实现实体，其可以是专用电路或执行存储在存储器、固件或其任何组合中的软件的处理器。因此，在一个实施方案中，“电路”可以是硬线逻辑电路或可编程逻辑电路，例如可编程处理器，例如微处理器(例如复杂指令集计算机(Complex Instruction Set Computer,CISC)处理器或精简指令集(Reduced Instruction Set Computer,RISC)处理器)。“电路”还可以是执行软件的处理器，例如任何种类的计算机程序，例如，使用虚拟机代码(例如Java)的计算机程序。根据各种可选实施方案，将在下面更详细描述的各个功能的任何其他种类的实现方式也可以被理解为“电路”。类似地，“模块”可以是本发明的各实施方案的系统的一部分，并且可以包含如上所述的“电路”，或者可理解为是其中的任何种类的逻辑实现实体。
本公开的某些部分通过对计算机存储器内的数据的算法和功能性或符号表示的操作显式或隐式地呈现。这些算法描述和功能性或符号表示是数据处理领域的技术人员用来将其工作的实质最有效地传达给本领域其他技术人员的手段。在此，算法通常被认为是导向所需结果的步骤的自洽序列。这些步骤是需要对物理量进行物理操纵的步骤，例如能够存储、传输、组合、比较和以其他方式操纵的电、磁或光信号。
除非另有特别说明，并且从以下内容显而易见，否则应当理解，在整个说明书中，利用诸如“确定”、“获得”、“生成”等之类的术语的讨论是指计算机系统或类似电子设备的动作和处理，该动作和处理将所述计算机系统内以物理量表示的数据转换为与计算机系统或其他信息存储、传输或显示设备内的以类似的物理量表示的其他数据。
本说明书还公开了一种用于执行本文所述方法的操作/功能的系统(也可以体现为设备或装置)。此类系统可以被特别构建用于所需目的，或者可以包括通用计算机或由存储在计算机中的计算机程序选择性地激活或重新配置的其他设备。本文提出的算法与任何特定的计算机或其他设备不是固有地相关。根据本文的教导，各种通用机器可以与计算机程序一起使用。可选地，构建更专门化的设备以执行所需方法步骤可能是合适的。
另外，本说明书还至少隐含地公开了一种计算机程序或软件/功能模块，因为对于本领域技术人员显而易见的是，本文所述方法的各个步骤或操作可通过计算机代码发挥作用。所述计算机程序不限于任何特定的编程语言及其实现。将理解的是，各种编程语言及其编码可以用于实现本文所包含的本公开的教导。此外，所述计算机程序并不限于任何特定的控制流程。所述计算机程序还有许多其他变体，它们可以使用不同的控制流程而不会脱离本发明的范围。本领域技术人员将认识到，本文描述的各种模块(例如图像获取模块208、图像处理模块210、胶原蛋白参数确定模块212和/或纤维化水平确定模块214)可以是由计算机程序实现的软件模块或可由计算机处理器执行以执行所需功能的指令集，或者可以是被设计为执行所需功能的功能性硬件单元的硬件模块。还应当理解，可以实现硬件和软件模块的组合。
此外，本文描述的计算机程序/模块或方法的一个或多个步骤或操作可以并行而不是顺序地执行。这样的计算机程序可以存储在任何计算机可读介质上。所述计算机可读介质可以包括诸如磁盘或光盘、存储芯片、或者适合于与通用计算机接口的其他存储设备。当所述计算机程序在这样的通用计算机上加载并执行时，最终产生有效实现本文所述方法的步骤或操作的设备。
在各实施方案中，提供了一种计算机程序产品，包含在一个或多个计算机可读存储介质(非暂时性计算机可读存储介质)中，包括可由一个或多个计算机处理器执行的指令(例如图像获取模块208、图像处理模块210、胶原蛋白参数确定模块212和/或纤维化水平确定模块214)，以执行参见如上图1所示的所述用于评价组织样本纤维化的方法100。因此，本文描述的各种计算机程序或模块可被存储在系统(例如计算机系统或电子设备)可接收的计算机程序产品中，例如图2所示的系统200，用于由系统200的至少一个处理器206执行以执行所需或期望的功能。
本文描述的软件或功能模块也可以作为硬件模块实现。更具体地，在硬件意义上，模块是设计成与其他组件或模块一起使用的功能硬件单元。例如，模块可以使用分离的电子组件来实现，或者模块可以形成整个电子电路(例如专用集成电路(ApplicationSpecific Integrated Circuit，ASIC))的一部分。存在许多其他的可能性。本领域技术人员将理解，本文描述的软件或功能模块也可以硬件和软件模块的组合实现。
在各实施方案中，上述计算机系统可以由任何计算机系统(例如便携式或台式计算机系统)来实现，诸如图3中示意性示出的计算机系统300，其仅作为示例并且没有限制。各种方法/操作或功能模块(例如图像获取模块208、图像处理模块210、胶原蛋白参数确定模块212和/或纤维化水平确定模块214)可以通过软件，例如在所述计算机系统300内执行的计算机程序实现，并指示所述计算机系统300(具体为其中一个或多个处理器)进行本文所述的各实施方案的方法/功能。所述计算机系统300可以包括计算机模块302、输入模块(例如键盘304和鼠标306)、以及多个输出设备(例如显示器308)和打印机310。所述计算机模块302可以通过合适的收发器设备314连接至计算机网络312，以能够访问例如Internet或其他网络系统，例如局域网(LAN)或广域网(WAN)。该示例中的所述计算机模块302可以包括用于执行各种指令的处理器318、随机存取存储器(Random Access Memory,RAM)320和只读存储器(Read Only Memory,ROM)322。所述计算机模块302还可以包括多个输入/输出(I/O)接口，例如所述显示器308的I/O接口324，和所述键盘304的I/O接口326。所述计算机模块302的所述组件通常通过互连的总线328并以相关领域的技术人员已知的方式进行通信。
本领域技术人员将理解，本文中使用的术语仅出于描述各实施方案的目的，并且不旨在限制本发明。如本文所用，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另外明确指出。还将理解的是，当在本说明书中使用时，诸如“包括”和/或“包含”之类的术语“包括”和/或“包含”指定存在所述特征、整数、步骤、操作、元素和/或组件，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或其组合的存在或添加。
为了使本发明易于理解并付诸实践，在下文中将仅通过举例而非限制的方式描述本发明的各种示例性实施方案。然而本领域技术人员将理解，本发明可以以各种不同的形式或配置来实施，并且不应被解释为限于以下阐述的示例性实施方案。而是，提供这些示例性实施方案以使本公开透彻和完整，并且将本发明的范围充分传达给本领域技术人员。
具体地，为了更好地理解本发明并且在不限制或失去通用性的情况下，现在将以对从大鼠提取的肝组织的纤维化评价来描述本发明的各种示例性实施方案。例如，可从大鼠的纤维化诱导的肝脏提取的、胶原蛋白染色的肝脏组织样本中获得染色组织样本的染色图像。可以评价染色的活检组织样本的染色图像，以确定大鼠纤维化诱导的肝脏中的纤维化程度。然而，本领域技术人员将理解，本发明不限于评价从肝脏提取的组织样本的纤维化，并且根据各实施方案的本文公开的评价组织样本纤维化的方法可以用于通过病理学染色来评价来自动物或人体的各种其他类型的解剖位置的组织样本的纤维化，例如但不限于肺、胃、小肠和大肠等。
在各种示例性实施方案中，可以对染色组织样本的染色图像进行处理，以基于组织样本中的组织病理学特性来识别和分类多种不同类型的胶原蛋白。在各示例性实施方案中，多种不同类型的胶原蛋白可包括门静脉胶原蛋白、原纤维胶原蛋白和隔膜胶原蛋白。例如，可以处理染色图像以将胶原蛋白纤维分类为三种不同类型。可以根据要评价的组织纤维化的类型对其他类型的胶原蛋白和/或其他类型的胶原蛋白进行分类。
图4示出了处理(或预处理)染色组织样本的染色图像400以生成多种不同类型的胶原蛋白图像的示例性示意图。在各示例性实施方案中，可以对所述染色组织样本中的胶原蛋白进行染色。
在各示例性实施方案中，可以从图像捕获装置获得染色组织样本410的染色图像。在各种示例性实施方案中，所述图像捕获设备可以是或包括用于捕获载玻片上的染色组织样本的图像的明场显微镜。其他图像捕获设备，例如组织扫描仪，可以用于获得染色的图像。
在各示例性实施方案中，可以将所述染色图像分为包括背景、组织和胶原蛋白纤维的不同类别的染色图像，以生成对应于所述染色图像中的组织的第一图像420和对应于所述染色图像中的胶原蛋白的第二图像430。例如，在非限制性示例中，可以基于聚类技术(例如K均值聚类)来识别和提取所述染色图像中的胶原蛋白和组织。例如，Chen,C.W.,Luo,J.&Parker,K.J.Image segmentation via adaptive K-mean clustering andknowledge-based morphological operations with biomedical applications.IEEEtransactions on image processing:a publication of the IEEE Signal ProcessingSoceity 7,1673-1683,doi:10.1109/83.730379(1998)公开了一种基于K均值聚类的图像分割技术，该技术可用于识别和提取染色图像中的胶原蛋白和组织，其内容出于所有目的通过引用其整体并入本文。例如，可以基于在Lab/RGB/HSV空间中代表组织和胶原蛋白纤维的像素的分布，通过K均值聚类来识别和提取所述染色图像中的胶原蛋白和组织。
例如，可以使用诸如K均值聚类等聚类技术来确定数据集中存在的自然光谱分组。在这样的过程中，可以设置预定义数量的聚类(例如，位于分析员可接受的数据中的期望数量的聚类)。所述技术可以用分别对应于预定义数量的聚类的多个聚类平均值的任意定位的种子来启动。随后，在第一操作中，可以将染色图像中的每个像素分配给最接近的聚类平均值。在第二操作中，可以为每个聚类计算修正的平均向量。所述第一和第二操作可以迭代。可以继续在所述第一和第二操作进行迭代，直到满足预定义标准为止。在非限制性示例中，所述预定义标准可以是迭代中多个聚类平均值不改变的地方。聚类的效率，例如可以通过用于遥感数据的、无监督分类的聚类算法来确定。
在各示例性实施方案中，可以如下执行基于颜色的K均值聚类技术。首先，可以将所述染色图像中的色带提取为单独的二维(2D)阵列，每个颜色分量(例如，红色、蓝色和绿色通道)使用一个2D阵列(或颜色通道)。接下来，可以针对每个颜色通道(例如，红色、绿色和蓝色通道)计算直方图。通过K均值聚类的实现，可以在给定预定义数量的聚类的情况下自动对所述染色图像中的像素进行聚类。例如，预定义数量的聚类可以对应于细胞质、细胞核、胶原蛋白纤维和背景噪声。可以反复重复该过程，直至分离结果以每个聚落内的最小距离最优化。
在各种示例性实施方案中，可以生成对应于所述第一图像420中的门管和中心静脉的第三图像，并且可基于所述第三图像生成第二二值化图像(或对应于具有已识别的门管和中心静脉的组织的经处理图像)422。由于所述门管和中心静脉只是血管(例如血流成分)，因此所述门管和中心静脉内部的空间不会被染色，并且可以使用聚类技术(K均值分离)显示为白色区域。例如，由于所述第一图像420记录了肝组织421的信号(例如，肝细胞的信号)，所以门管424和中心静脉425会显示为空白区域，因此所述分割过程可以选择并分离那些基于其强度表示或属于门管和中心静脉的像素。在各示例性实施方案中，基于阈值的图像分割(例如，Otsu阈值)和基于形态学操作的图像预处理(例如，形态学开合)可以应用于所述染色图像410和/或所述第一图像420，以识别表示门管和中心静脉的空白区域，从而生成第二二值化图像422。此外，可以执行打孔操作以使空间平滑。所述门管和中心静脉可以通过其不同的尺寸和形状进一步区分开(例如，门管具有较大的不规则孔，而中心静脉具有较小的圆形孔)。另外，在进一步处理之前，可以去除被认为是具有相对较小面积且呈椭圆形的正弦曲线空间的空白空间。例如，可以去除小于预设尺寸的空间(例如，100μm2的面积)(例如，一个肝细胞的尺寸)和长轴长至短轴长的空间(假定为正弦空间)。
在各个示例性实施方案中，可以使用对比度增强来处理与胶原蛋白对应的所述第二图像430以增强信号，并且通过例如自适应阈值将其进一步转换为第一二值图像432。生成了对应于胶原蛋白的第一二值化图像432。为了从作为对应于胶原蛋白的彩图的所述第二图像430生成所述第一二值化图像432，可使用加权平均技术将所述第二图像430(例如RGB图像)转换为灰度图像，并且所述灰度图像可以使用自适应阈值化转换为所述第一二值化图像432。在某些情况下，可以使用诸如形态学闭合的形态学操作来连接断裂的胶原蛋白纤维和/或可以使用诸如去斑点滤波器之类的滤波器来去除噪声。
在各示例性实施方案中，处理400还包括分割过程，以将胶原蛋白纤维分类为各种不同类型的胶原蛋白。将胶原纤维分类为不同类型的分割过程可基于所述第一和第二二值化图像432和422执行。在各示例性实施方案中，基于来自于所述第二二值化图像422中与门管和中心静脉的相对位置相关的组织病理学信息，对所述第一二值化图像432中包括门静脉胶原蛋白、隔膜胶原蛋白和原纤维胶原蛋白的各种类型的胶原蛋白进行分类。在各示例性实施方案中，可以基于多个预设条件对门静脉胶原蛋白、隔膜胶原蛋白和原纤维胶原蛋白依次进行分类。
如图4所示，可以基于所述第一和第二二值化图像432和422生成多种不同类型的胶原蛋白图像(例如，对应于门静脉胶原蛋白的门静脉胶原蛋白图像453、对应于原纤维胶原蛋白的原纤维胶原蛋白图像455和对应于隔膜胶原蛋白的隔膜胶原蛋白图像457)。在各示例性实施方案中，可以首先选择原纤维胶原蛋白，因其面积小于10um2，表示了分布在组织中的断裂的胶原蛋白(以基于所述第一二值化图像中满足预设尺寸条件的胶原蛋白生成所述第一类型胶原蛋白图像)。例如，基于组织病理学知识，面积小于10um2的胶原蛋白纤维可作为(或视为)原纤维胶原蛋白。除了较小的面积大小以外，例如所述原纤维胶原蛋白，通常是断裂的、分离的胶原蛋白，其分布在细胞周围或正弦周围空间中，并且可以基于其分布进行识别或选择。接下来，对于门静脉胶原蛋白，可以首先选择来自门管和中心静脉的边界的像素，并且可以选择截止距离以扩大那些选择的像素，其中表示所述第一二值化图像中截止距离内的所有胶原蛋白的像素可认为是表示门静脉胶原蛋白的像素(以基于所述第一二值化图像中满足相对于所述第二二值化图像中门管和中心静脉预设的边界距离条件的胶原蛋白生成第二类型胶原蛋白图像)。接下来，可以将所有剩余的胶原蛋白视为隔膜胶原蛋白(以基于所述第一二值化图像中不满足预设尺寸条件和预设距离条件的胶原蛋白生成第三类型胶原蛋白图像)。分别对应于相应类型的胶原的多种不同类型的胶原蛋白图像可以包含该类型的胶原的信号。应理解的是，在某些情况下，与其他类型的胶原蛋白(例如门静脉胶原蛋白和隔膜胶原蛋白)相比，特定类型的胶原蛋白(例如原纤维胶原蛋白)的信号可能要弱得多，并且不能从所述胶原蛋白图像(例如原纤维胶原蛋白图像455)通过直接可视化观察到。图5示出了根据本发明的各种示例性实施方案的评价组织样本纤维化的框架图500。多种不同类型的胶原蛋白参数可以基于多种不同类型的胶原蛋白图像通过深度神经网络510确定。染色组织样本的纤维化程度可以基于多种不同类型的胶原蛋白参数确定。
如图5所示，多种不同类型的胶原蛋白图像(例如门静脉胶原蛋白图像453、原纤维胶原蛋白图像455和隔膜胶原蛋白图像457)可以通过基于深度学习的分类模型或深度神经网络510来评价以获得多种不同类型的胶原蛋白的预测结果(多种不同类型的胶原蛋白参数)。多种不同类型的胶原蛋白参数各自包括对应于染色组织样本中的多种不同类型的胶原蛋白的类型的胶原蛋白有关的定量纤维化值。例如，所述定量纤维化值可以是胶原纤维化指数。例如，多种不同类型的胶原蛋白参数(例如，在图5中表示为523、525和527)可以包括对应于第一类型的胶原蛋白(例如门静脉胶原蛋白)的第一定量纤维化值，对应于第二类型的胶原蛋白(例如原纤维胶原蛋白)的第二定量纤维化值和对应于第三类型的胶原蛋白(例如隔膜胶原蛋白)的第三定量纤维化值。
在各示例性实施方案中，所述深度神经网络510可以包括多个深度神经子网络，以基于多种不同类型的胶原蛋白图像来确定多种不同类型的胶原蛋白参数。可以针对各种类型的胶原蛋白分别训练多个深度神经子网络，以生成多种不同类型的胶原蛋白参数。换句话说，可以针对特定类型的胶原蛋白训练多个深度神经子网络中的每个深度神经子网络，并基于与该类型的胶原蛋白相对应的胶原蛋白图像来确定该胶原蛋白的胶原蛋白参数。在各种示例性实施方案中，每个深度神经子网络可以是DCNN。例如，可以分别训练三个DCNN，以分别生成对应于所述第一类型胶原蛋白的第一定量纤维化值、对应于第二类型胶原蛋白的第二定量纤维化值和对应于第三类型胶原蛋白的第三定量纤维化值。每个CNN的架构都可以包括输入层和输出层，以及由卷积层构成的多个隐藏层(对输入应用卷积运算并将结果传递到下一层)、激活函数(定义给定输入集合的输入的某个节点的输出)、池化层(将一层的神经元聚类的输出组合为下一层的单个神经元)、全连接层(将一层中的每个神经元连接到另一层中的每个神经元)和分类层(转换回数据标签)。可将各种类型的胶原蛋白纤维的经处理的不同类型的胶原蛋白图像送至各自的DCNN中，并用上述各层进行分析，从而从各自的胶原蛋白图像生成代表每种类型的胶原蛋白的纤维化程度的最终类别标签。
在各示例性实施方案中，可以组合多种不同类型的胶原蛋白参数以生成组织样本的最终定量纤维化值或最终纤维化指数(在此称为sqFibrosis指数)550，以确定组织样本纤维化的程度。在各示例性实施方案中，在非限制性示例中，可以使用逻辑回归530(例如多项式逻辑回归)来组合多种不同类型的胶原蛋白参数。
图6示出了根据本发明的各示例性实施方案的评价组织样本纤维化的深度神经子网络515的示例性架构的图。如所描述的，根据各示例性实施方案，可以提供多个深度神经子网络，其中多个深度神经子网络中的每个深度神经子网络可以用于特定类型的胶原蛋白，基于对应于该类型胶原的胶原蛋白图像确定该类型胶原蛋白的胶原蛋白参数。在各示例性实施方案中，所述深度神经子网络515可以是DCNN。所述深度神经子网络可以包括多个卷积层、最大池化层和全连接层。在各示例性实施方案中，对于每种类型的胶原蛋白，所述深度神经子网络515可以是用于训练和测试目的的预训练AlexNet-CNN。在各示例性实施方案中，所述深度神经子网络可以是7层的AlexNet-CNN。例如，所述深度神经子网络可以是用于计算机辅助肝纤维化评分的改良的7层AlexNet算法。例如，Hoo-Chang,S.et al.DeepConvolutional Neural Networks for Computer-Aided Detection:CNN Architectures,Dataset Characteristics and Transfer Learning.IEEE transactions on medicalimaging 35,1285-1298,doi:10.1109/TMI.2016.2528162(2016)公开了一种示例性CNN，可以对其进行改良以实现基于对应于胶原蛋白图像的胶原蛋白类型确定该类型胶原蛋白的胶原蛋白参数，其内容出于所有目的通过引用其整体并入本文。
在各示例性实施方案中，每个CNN可以包括一个输入层、七个隐藏层(五个卷积层C1-C5和两个全连接层FC6-FC7)和一个使用批量随机梯度下降的输出层，具有动量和重量衰减的具体值。在与肝纤维化评价有关的示例性实施方案中，原始AlexNet-CNN网络的输入层和输出层可在改良的深度神经子网络中相应地被替换，以进行肝纤维化评价。例如，在改良的深度神经子网络中，可以在替换输入和输出的同时保持深度学习神经元网络的基本结构。例如，所述输入层可用于向深度神经子网络提供不同类型的胶原蛋白图像，而所述输出层(例如，最后几层卷积层和全连接层)用于生成相应类型的胶原蛋白图像的胶原蛋白参数。
在各示例性实施方案中，可以基于转移学习技术来训练深度神经网络(例如，多个深度神经子网络中的每个深度神经子网络)。例如Desautels,T.et al.Using TransferLearning for Improved Mortality Prediction in a Data-Scarce HospitalSetting.Biomedical informatics insights 9,1178222617712994,doi:10.1177/1178222617712994(2017)；Sharma,H.,Zerbe,N.,Klempert,I.,Hellwich,O.&Hufnagl,P.Deep convolutional neural networks for automatic classification of gastriccarcinoma using whole slide images in digital histopathology.Computerizedmedical imaging and graphics:the official journal of the Computerized MedicalImaging Society 61,2-13,doi:10.1016/j.compmedimag.2017.06.001(2017)；和Krizhevsky,A.,Sutskever,I.&Hinton,G.E.in Proceedings of the 25thInternational Conference on Neural Information Processing Systems-Volume 11097-1105(Curran Associates Inc.,Lake Tahoe,Nevada,2012)中，描述了深度神经网络中使用转移学习方法，其内容出于所有目的通过引用其整体并入本文。例如，转移学习是一种机器学习方法，其中为任务开发的模型再次使用作为第二个任务的模型的起点。在各示例性实施方案中，所述深度神经网络可通过世界范围内的大量训练数据集，使用转移学习技术的弱相关或甚至不相关的图像源进行预训练。在使用预训练模型的转移学习技术中，首先可以选择源模型。关于选择源模型，可从可用模型中选择预训练的源模型。在示例性实施方案中，先前以大型且具有挑战性的数据集训练过的AlexNet模型可以包括在可供选择的候选模型池中。接下来，可以再次使用所选的源模型。例如，所选择的预训练源模型可以用作关于感兴趣的第二任务(例如肝纤维化分类)的模型的起点。根据所使用的建模技术，这可能涉及使用模型的全部或部分。可选地，可以调整所选的源模型。例如，可能需要根据可用于感兴趣的任务的输入-输出对数据对选定的源模型进行改良或完善。已经发现，通过转移学习方法的预训练深度神经网络可以自动且准确地分阶段进行肝纤维化而无需特征提取。
所述多种不同类型的胶原蛋白图像(例如，已处理的门静脉胶原蛋白图像453、原纤维胶原蛋白图像455和隔膜胶原蛋白图像457)可以调整大小并进行复制，以适应作为输入图像输入为每个门静脉胶原蛋白、原纤维胶原蛋白和隔膜胶原蛋白训练的相应CNN中。在各示例性实施方案中，经处理的门静脉胶原蛋白、原纤维胶原蛋白和隔膜胶原蛋白图像以224×224×3像素调整大小并复制，以适应作为输入图像的相应CNN。在各示例性实施方案中，每个CNN可以在第一和第二卷积层之后进一步包括两个大小为2×2像素的最大池化层，其中第一和第二卷积层的过滤器的大小和数量分别为11×11×3像素、96和5×5×96像素、256。每个CNN可以包括另外三个卷积层(例如，第三、第四和第五卷积层)，其中过滤器的大小和数量可分别是3×3×256像素、384和3×3×384像素、384和3×3×384像素、256。所述卷积层可以在第三最大池化层之前实现。每个CNN可以进一步包括第六和第七隐藏层，它们可以是4096维全连接层，其中输入矩阵通过通用矩阵矢量乘(General MATRIX VectorMultiply,GEMV)方法转换为用于Softmax激活函数的矢量。在各示例性实施方案中，从深度神经网络提取的形态和/或纹理特征可以用作非基于深度学习的算法的输入。在特征提取过程中，在细胞或组织水平提取疾病模式，以测量形态特征的变化或对胶原蛋白图像进行分类以对疾病进行分级。细胞水平的特征集中在量化单个细胞的属性，而不考虑细胞之间可能存在的任何潜在空间关系。对于单个细胞，可以提取基于形态、纹理、分形和/或强度的特征。组织水平的特征量化了整个组织中细胞的分布；这些特征捕获空间信息或像素的灰度水平的依赖性。对于组织，可以提取纹理、分形和/或拓扑特征。非深度学习算法具有更高的计算效率和更少的时间消耗。并且由于与病理检查过程相关，其与病理解释更相关。
在各示例性实施方案中，多个深度神经子网络中的每个深度神经子网络的最终输出层可以被配置为输出基于相应类型胶原蛋白的胶原蛋白图像的与相应类型的胶原蛋白有关的定量纤维化值。
根据本发明的各示例性实施方案的评价组织样本纤维化的框架图的各种非限制性示例如下：
建立sqFibrosis指数
为了将所有胶原蛋白指数(门静脉、原纤维和隔膜指数)合并为最终的sqFibrosis指数，可以使用多项式逻辑回归(MLR)。例如，在Lee,K.,Ahn,H.,Moon,H.,Kodell,R.L.&Chen,J.J.Multinomial logistic regression ensembles.Journal ofbiopharmaceutical statistics 23,681-694,doi:10.1080/10543406.2012.756500(2013)中描述了MLR，其内容出于所有目的通过引用整体并入本文。MLR可能是正常逻辑回归的泛化，可以生成多个离散结果(针对各种纤维化评分系统)。为了计算一个组织样本的纤维化指数，可以将同一样本中的所有其他组织样本用作训练集。可以通过训练的MLR模型预测所述样本属于0至4阶段之一的概率。在各示例性实施方案中，来自各种类型胶原蛋白的纤维化指数可以用作MLR的新特征输入，并且可获得在特征空间中，预测因子的纤维化类别的标称响应的多项式逻辑回归的系数估计的矩阵p。所述系数既表示预测变量对相对风险的影响，又表示相对于参考类别处于某一类别中的对数几率。一旦对应于不同类别的纤维化程度的给定图像的概率分别从对应于多种类型的胶原蛋白的多种不同类型的胶原蛋白图像获得，则可以使用如下所示的等式1来确定(或计算)最终指数(纤维化指数)：
index＝α∑pi*Ei，i＝0，1，2，3，4，
——(等式1)
其中，pi是纤维化第i阶段的预测概率，Ei是每个阶段的预期值，α是将指数标准化到一定范围的比例因子。在非限制性示例中，可以将α设置为1/4，以使指数是位于0到1范围内的连续变量。
组织样本和组织样本的图像采集
在各示例性实施方案中，如上所述，可以获得染色组织样本用于评价。另外，染色组织样本可以用于训练深度神经网络。在各示例性实施方案中，可以根据例如硫代乙酰胺(TAA)诱导的用于评价大鼠肝纤维化的动物模型获得组织样本。例如，所有评价或研究TAA诱导的肝纤维化大鼠模型的方案均已由生物资源中心(Biological Resource Centre,BRC)机构动物护理和使用委员会(Institutional Animal Care and Use Committee,IACUC)审查和批准。在各示例性实施方案中，将20只大鼠随机分为6组，代表与用TAA治疗大鼠有关的六个时间点。代表六个时间点的6个组可以包括未进行药物治疗的组以及分别接受TAA治疗4、6、7、8和12周的组。例如，可以将每只动物左外侧肝的肝脏样本或样品用福尔马林固定、石蜡包被，然后切成5μm的切片。可以对肝脏样品进行Masson Trichrome(MT)染色以获得染色组织样本。另外，可以进行MT染色以获得用于组织学检查的染色组织样本。染色组织样本的染色图像可以通过成像技术例如使用直接明场成像技术进一步获得。例如，用于训练和测试sqFibrosis指数的样本可以通过明场显微镜成像。可以使用4×物镜在组织样本的染色切片上进行用于明场显微镜的图像采集。在示例性实施方案中，为了覆盖样本的大部分区域，每个样本可通过明场显微镜获取四个12mm2(4×3mm)图像大小的图像。所述四个图像可用作单独的样本。
此外，可以由经验丰富的病理学家使用Metavir纤维化分期系统进行评分，以与如上所述使用框架图500进行的组织样本中纤维化的预测相比较。通过Metavir纤维化分期系统评价，sqFibrosis在消退和进展患者组中显示出相似的趋势，与Metavir纤维化评分高度相关。因此，包括基于深度学习的算法的框架图500可以使用组织样本的胶原蛋白染色自动量化TAA诱导的纤维化大鼠肝脏中的肝纤维化进展，这在临床环境中通常是可用的。并且可以以高灵敏度和特异性对肝纤维化的不同阶段进行评分。
图7示出了不同常规技术710和720的流程图700以及根据本发明的各示例性实施方案的用于评价组织样本纤维化的技术或框架图500。常规技术720是基于免染多光子显微镜的qFibrosis方法。例如，可以使用二次谐波生成/双光子激发荧光(SHG/TPEF)显微技术从组织样本的未染色切片中提取胶原蛋白特征。但是，所述多光子显微镜在诊所或实验室中并不常用，这使得这些技术除了由于成像过程和使用多光子显微镜而导致的变化之外，其临床应用变得困难。与先前的技术相比，框架图500获得的sqFibrosis指数提供了一种完全定量的计算机辅助肝纤维化分期，用于评价基于活检的组织样本的纤维化，尤其是使用染色组织样本。另外，由于可以使用标准的光学显微镜，因此与常规技术相比，框架图500可以具有改善的临床适用性。
统计分析
在各示例性实施方案中，Kruskal-Wallis(KW)测试可用于估计Metavir纤维化阶段在sqFibrosis指数和胶原蛋白比例面积(CPA)内的统计学差异。可以进行两尾Wilcoxon秩和检验，以估计不同Metavir阶段之间sqFibrosis指数和CPA的统计学差异。例如，统计学显著性水平可以设置为p<0.05。
图8A-8C示出了使用sqFibrosis和CPA评价肝纤维化各个阶段的染色组织样本图像中的胶原蛋白模式变化的示例性比较。例如，图8A示出了基于Metavir分期系统的动物在慢性肝病中在纤维化的各个阶段(例如，F0、F1、F2、F3、F4)中的胶原蛋白模式的变化在染色组织样本中的染色图像810和染色图像的经处理图像820(例如，经处理的门静脉胶原蛋白图像820a、经处理的原纤维胶原蛋白图像820b和经处理的隔膜胶原蛋白图像820c)。在非限制性示例说明中，可以分别用诸如蓝色、红色和绿色的颜色表示门静脉、原纤维和隔膜胶原蛋白(未示出)。例如，在纤维化的不同阶段，经处理的图像可以包括以蓝色、红色和/或绿色可视化的胶原蛋白纤维的不同模式。图8B和8C分别示出了动物在各个阶段之间随纤维化进展的sqFibrosis指数和CPA的变化。sqFibrosis指数可以能够可靠地概括各种纤维化分期系统，因为它可以识别动物样本各个阶段之间的差异(p<0.001)，例如，与CPA相比，具有更佳的性能(p＝0.152)。sqFibrosis值随纤维化进展而增加，并且在肝纤维化的所有阶段之间均显示出显著性差异。CPA仅在后期显示强烈变化，而不能区分早期阶段(第1阶段和第2阶段)。
图9示出了说明使用未处理的染色图像、未分类为不同类型的已处理的胶原蛋白图像以及已分类为不同类型的胶原蛋白(例如门静脉、原纤维和隔膜胶原蛋白)的已处理的胶原蛋白图像对sqFibrosis指数的深度学习模型和胶原蛋白比例面积(CPA)进行性能评价的图表。在使用已分类为不同类型的胶原蛋白的已处理的胶原蛋白图像的深度学习模型的情况下，sqFibrosis指数更可靠，ROC下面积(AUROC)值为0.94的区域可用于纤维化检测；AUROC值为0.87可用于显著性纤维化检测，AUROC值为0.93可用于晚期纤维化检测，AUROC值为0.94可用于肝硬化检测。另一方面，使用未处理的染色图像确定sqFibrosis指数的情况下，纤维化检测的AUROC值为0.75，显著性纤维化检测的AUROC值为0.69，晚期纤维化检测的AUROC值为0.71，而肝硬化检测的AUROC值为0.78。至于使用未分类为不同类型的已处理的胶原蛋白图像确定sqFibrosis指数的情况，纤维化检测的AUROC值为0.84，显著性纤维化检测的AUROC值为0.81，晚期纤维化检测的AUROC值为0.92，肝硬化检测的AUROC值为0.83。因此，使用已分类为不同类型的胶原蛋白的已处理的胶原蛋白图像的深度学习模型确定sqFibrosis指数，可以对动物样本的纤维化得分进行敏感度分级。sqFibrosis指数还表现出优于CPA的性能(纤维化检测的AUROC值为0.89；显著性纤维化检测的AUROC值为0.88，晚期纤维化检测的AUROC值为0.91，肝硬化检测的AUROC值为0.87)。
当应用诸如CPA的定量方法时，样本误差是主要限制。为了评价sqFibrosis指数对抽样误差的敏感性，对动物样品进行了概念验证。生成并检查了各种图像大小、图像分辨率和图像强度，以模拟不同质量的样本。图10A-10B分别示出了来自动物研究的各种样本大小的染色组织样本的染色图像，以及基于组织样本中纤维化的不同阶段评价的各种样本大小的sqFibrosis和CPA的AUROC值。图11A-11B分别示出了来自动物研究的各种图像分辨率的染色组织样本的染色图像，以及基于组织样本纤维化的不同阶段评价的各种图像分辨率的sqFibrosis和CPA的AUROC值。图12A至图12B分别示出了来自动物研究的各种图像强度的染色组织样本的染色图像以及基于组织样本中纤维化的不同阶段而评价的各种图像强度的sqFibrosis和CPA的AUROC值。sqFibrosis指数的AUROC值随着样本大小、分辨率和强度的降低而略有下降。在标准条件下，CPA达到了与sqFibrosis指数相似的AUROC值；但是，当样本大小、分辨率和强度降低时，CPA的AUROC值会急剧下降。
已经发现，尽管常规的半自动学习算法可用于肝纤维化评分，但是基于深度学习的算法更有希望，因为它会自动发现特征并通过其贡献计算每个特征的权重，这将更省时、更节约成本。不可避免地，基于深度学习的算法需要大型数据集和复杂的训练神经网络，可以通过使用来自弱相关或甚至不相关图像源的转移学习来补偿这种要求。根据本发明的实施方案的sqFibrosis指数能够评价重要特征。例如，染色图像的图像预处理可以对各种类型的胶原蛋白进行分类，从而可以使用深度学习/转移学习方法进行进一步的特征计算和分类。这确定了分类所需的最少特征集合，因此减少了深度学习模型中的参数数量。可以使用其他评分系统(例如Ishak分期和Beijing P-I-R分类)进一步评价sqFibrosis指数，以从临床角度分析肝内肝硬化检测和治疗前后的监测。
在各示例性实施方案中，sqFibrosis指数是使用预训练的深度神经网络(例如AlexNet-CNN)的基于深度学习的算法，可以自动提高纤维化的分期准确性和通量，从而可在较不复杂的临床或实验室环境以及医院中使用现有的染色肝脏样本的胶原蛋白即时定量分期肝纤维化。此外，染色组织样本价格低廉，易于理解且有据可查。使用弱相关或甚至不相关图像源的转移学习方法可能有助于解决基于深度学习的算法对大型数据集的需求。这有利地解决了诸如肝纤维化的磁共振成像(MRI)和计算机断层扫描(CT)图像等技术中的问题，这些问题要求使用大量的训练数据集，而活检样本图像通常无法满足这一需求。由于在世界范围内已经有大量此类组织学染色样本的储存库/数据库，这种对肝纤维化评分阶段的计算机辅助和自动量化可推广到用于其他医学成像任务的高性能分类系统的设计。
尽管已经参考具体实施方案具体示出和描述了本发明的实施方案，但是本领域技术人员应当理解，在不脱离本发明范围的情况下，可以在形式和细节上进行各种改变，而不脱离所附的权利要求书所定义的本发明的范围。本发明的范围由所附权利要求书所示，并且包括落入权利要求书的等同含义和范围内的所有改变。

Claims (20)

1.一种评价组织样本纤维化的计算机实现的方法，其使用至少一个处理器，所述方法包括：
获得染色组织样本的染色图像，所述染色组织样本中的胶原蛋白被染色；
基于所述染色图像生成多种不同类型的胶原蛋白图像，所述多种不同类型的胶原蛋白图像分别对应于多种不同类型的胶原蛋白；
使用深度神经网络基于所述多种不同类型的胶原蛋白图像确定多种不同类型的胶原蛋白参数；和
基于所述多种不同类型的胶原蛋白参数确定所述染色组织样本的纤维化程度。
2.如权利要求1所述的方法，其特征在于，所述生成多种不同类型的胶原蛋白图像包括：
生成对应于所述染色图像中的组织的第一图像；和
生成对应于所述染色图像中的胶原蛋白的第二图像。
3.如权利要求2所述的方法，其特征在于，所述生成多种不同类型的胶原蛋白图像进一步包括：
生成对应于所述第一图像中的门管和中心静脉的第三图像。
4.如权利要求3所述的方法，其特征在于，所述生成多种不同类型的胶原蛋白图像进一步包括：
基于所述第二图像生成第一二值化图像；
基于所述第三图像生成第二二值化图像；和
基于所述第一二值化图像和第二二值化图像生成所述多种不同类型的胶原蛋白图像。
5.如权利要求4所述的方法，其特征在于，所述第一图像和第二图像是基于K均值聚类生成的。
6.如权利要求4所述的方法，其特征在于，所述多种不同类型的胶原蛋白图像包括第一类型胶原蛋白图像、第二类型胶原蛋白图像和第三类型胶原蛋白图像，并且所述基于所述第一二值化图像和第二二值化图像生成所述多种不同类型的胶原蛋白图像包括：
基于所述第一二值化图像中满足预设的尺寸条件的胶原蛋白，生成所述第一类型胶原蛋白图像；
基于所述第一二值化图像中满足相对于所述第二二值化图像中门管和中心静脉边界预设的距离条件的胶原蛋白生成所述第二类型胶原蛋白图像；和
基于所述第一二值化图像中不满足所述预设的尺寸条件和所述预设的距离条件的胶原蛋白生成所述第三类型胶原蛋白图像。
7.如权利要求1所述的方法，其特征在于，所述多种不同类型的胶原蛋白包括门静脉胶原蛋白、原纤维胶原蛋白和隔膜胶原蛋白。
8.如权利要求1所述的方法，其特征在于，所述多种不同类型的胶原蛋白参数各自包括与所述染色组织样本中的所述多种不同类型的胶原蛋白中的对应类型的胶原蛋白有关的定量纤维化值。
9.如权利要求1所述的方法，其特征在于，所述组织样本的纤维化程度是基于所述不同类型的胶原蛋白参数，使用多项式逻辑回归确定的。
10.如权利要求1所述的方法，其特征在于，所述深度神经网络包括分别对应于所述多种不同类型的胶原的多个深度神经子网络，其中，所述多个深度神经子网络中的每个深度神经子网络配置为输出关于相应类型的胶原蛋白的定量纤维化值。
11.一种用于评价组织样本纤维化的系统，所述系统包括：
存储器；和
至少一个与所述存储器通讯偶联的处理器，并配置为：
获得染色组织样本的染色图像，所述染色组织样本中的胶原蛋白被染色；
基于所述染色图像生成多种不同类型的胶原蛋白图像，所述多种不同类型的胶原蛋白图像分别对应于多种不同类型的胶原蛋白；
使用深度神经网络基于所述多种不同类型的胶原蛋白图像确定多种不同类型的胶原蛋白参数；和
基于所述多种不同类型的胶原蛋白参数确定所述染色组织样本的纤维化程度。
12.如权利要求11所述的系统，其特征在于，所述生成多种不同类型的胶原蛋白图像包括：
生成对应于所述染色图像中的组织的第一图像；和
生成对应于所述染色图像中的胶原蛋白的第二图像。
13.如权利要求12所述的系统，其特征在于，所述生成多种不同类型的胶原蛋白图像进一步包括：
生成对应于所述第一图像中的门管和中心静脉的第三图像。
14.如权利要求13所述的系统，其特征在于，所述生成多种不同类型的胶原蛋白图像进一步包括：
基于所述第二图像生成第一二值化图像；
基于所述第三图像生成第二二值化图像；和
基于所述第一和第二二值化图像生成所述多种不同类型的胶原蛋白图像。
15.如权利要求14所述的系统，其特征在于，所述第一图像和第二图像是基于K均值聚类生成的。
16.如权利要求14所述的系统，其特征在于，所述多种不同类型的胶原蛋白图像包括第一类型胶原蛋白图像、第二类型胶原蛋白图像和第三类型胶原蛋白图像，并且所述基于所述第一二值化图像和第二二值化图像生成所述多种不同类型的胶原蛋白图像包括：
基于所述第一二值化图像中满足预设的尺寸条件的胶原蛋白，生成所述第一类型胶原蛋白图像；
基于所述第一二值化图像中满足相对于所述第二二值化图像中门管和中心静脉边界预设的距离条件的胶原蛋白生成所述第二类型胶原蛋白图像；和
基于所述第一二值化图像中不满足所述预设的尺寸条件和所述预设的距离条件的胶原蛋白生成所述第三类型胶原蛋白图像。
17.如权利要求11所述的系统，其特征在于，所述多种不同类型的胶原蛋白包括门静脉胶原蛋白、原纤维胶原蛋白和隔膜胶原蛋白。
18.如权利要求11所述的系统，其特征在于，所述多种不同类型的胶原蛋白参数各自包括与所述染色组织样本中的所述多种不同类型的胶原蛋白中的对应类型的胶原蛋白有关的定量纤维化值。
19.如权利要求11所述的系统，其特征在于，所述组织样本的纤维化程度是基于所述不同类型的胶原蛋白参数，使用多项式逻辑回归确定的。
20.一种计算机程序产品，其包含在一个或多个非暂时性计算机可读存储介质中，所述计算机程序产品包括由至少一个处理器执行的指令，以实现评价组织样本纤维化的方法，所述方法包括：
获得染色组织样本的染色图像，所述染色组织样本中的胶原蛋白被染色；
基于所述染色图像生成多种不同类型的胶原蛋白图像，所述多种不同类型的胶原蛋白图像分别对应于多种不同类型的胶原蛋白；
使用深度神经网络基于所述多种不同类型的胶原蛋白图像确定多种不同类型的胶原蛋白参数；和
基于所述多种不同类型的胶原蛋白参数确定所述染色组织样本的纤维化程度。
CN201980051363.9A 2018-07-30 2019-07-30 评价组织样本纤维化的方法和系统 Pending CN112514001A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10201806494Y 2018-07-30
SG10201806494Y 2018-07-30
PCT/SG2019/050378 WO2020027732A1 (en) 2018-07-30 2019-07-30 Method and system for assessing fibrosis in a tissue sample

Publications (1)

Publication Number Publication Date
CN112514001A true CN112514001A (zh) 2021-03-16

Family

ID=69231952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980051363.9A Pending CN112514001A (zh) 2018-07-30 2019-07-30 评价组织样本纤维化的方法和系统

Country Status (4)

Country Link
US (1) US11948296B2 (zh)
CN (1) CN112514001A (zh)
SG (1) SG11202100047YA (zh)
WO (1) WO2020027732A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210081799A1 (en) * 2019-09-12 2021-03-18 Oracle International Corporation Compressing neural networks for natural language understanding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080074649A1 (en) * 2006-09-25 2008-03-27 Cambridge Research And Instrumentation, Inc. Sample imaging and classification
US20120076390A1 (en) * 2010-09-28 2012-03-29 Flagship Bio Methods for feature analysis on consecutive tissue sections
CN105009174A (zh) * 2013-01-08 2015-10-28 新加坡科技研究局 用于评估组织纤维化的方法及系统
CN107208132A (zh) * 2014-09-15 2017-09-26 克里夫顿生命科学有限责任公司 用于诊断胃肠胰神经内分泌瘤的组合物、方法和试剂盒
US20180055408A1 (en) * 2016-08-30 2018-03-01 Washington University Quantitative differentiation of inflammation from solid tumors, heart and nerve injury

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007149965A2 (en) * 2006-06-22 2007-12-27 Wisconsin Alumni Research Foundation Stromal collagen in the diagnosis and characterization of breast cancer
SG184389A1 (en) * 2010-03-31 2012-10-30 Agency Science Tech & Res A method and system for determining a stage of fibrosis in a liver
US9965871B1 (en) * 2016-12-30 2018-05-08 Konica Minolta Laboratory U.S.A., Inc. Multi-binarization image processing
US10580130B2 (en) * 2017-03-24 2020-03-03 Curadel, LLC Tissue identification by an imaging system using color information
EP3698377A2 (en) * 2017-10-20 2020-08-26 Genfit Automated pattern recognition and scoring method of histological images
CN107895368A (zh) * 2017-11-24 2018-04-10 北京大学人民医院 Shg/tpef图像中的参数作为成人或儿童的肝纤维化的分期特征参数的应用
CN108198170B (zh) * 2017-12-27 2020-12-01 杭州筹图科技有限公司 一种纤维间隔的识别方法及装置
CN108230387B (zh) * 2017-12-29 2020-10-27 杭州筹图科技有限公司 一种纤维间隔特征量化的方法及装置
US20210199582A1 (en) * 2018-06-28 2021-07-01 The Regents Of The University Of California Producing a composite image of a stained tissue sample by combining image data obtained through brightfield and fluorescence imaging modes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080074649A1 (en) * 2006-09-25 2008-03-27 Cambridge Research And Instrumentation, Inc. Sample imaging and classification
US20120076390A1 (en) * 2010-09-28 2012-03-29 Flagship Bio Methods for feature analysis on consecutive tissue sections
CN105009174A (zh) * 2013-01-08 2015-10-28 新加坡科技研究局 用于评估组织纤维化的方法及系统
CN107208132A (zh) * 2014-09-15 2017-09-26 克里夫顿生命科学有限责任公司 用于诊断胃肠胰神经内分泌瘤的组合物、方法和试剂盒
US20180055408A1 (en) * 2016-08-30 2018-03-01 Washington University Quantitative differentiation of inflammation from solid tumors, heart and nerve injury

Also Published As

Publication number Publication date
US11948296B2 (en) 2024-04-02
US20210319554A1 (en) 2021-10-14
WO2020027732A1 (en) 2020-02-06
SG11202100047YA (en) 2021-02-25

Similar Documents

Publication Publication Date Title
JP7459336B2 (ja) 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法
JP7201681B2 (ja) 単一チャネル全細胞セグメンテーションのためのシステム及び方法
US20230127698A1 (en) Automated stereology for determining tissue characteristics
US10733726B2 (en) Pathology case review, analysis and prediction
Stegmaier et al. Real-time three-dimensional cell segmentation in large-scale microscopy data of developing embryos
WO2019048954A1 (en) DETERMINATION OF COLORING QUALITY OF FABRIC
JP6517788B2 (ja) 適応的病理組織画像分解のためのシステム及び方法
Binder et al. Multi-organ gland segmentation using deep learning
İnik et al. A new method for automatic counting of ovarian follicles on whole slide histological images based on convolutional neural network
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
Herold et al. Automated detection and quantification of fluorescently labeled synapses in murine brain tissue sections for high throughput applications
Wojciechowska et al. Early detection of liver fibrosis using graph convolutional networks
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Kaltdorf et al. FIJI macro 3D ART VeSElecT: 3D automated reconstruction tool for vesicle structures of electron tomograms
Swiderska-Chadaj et al. Convolutional neural networks for lymphocyte detection in immunohistochemically stained whole-slide images
Miazaki et al. Automated high-content morphological analysis of muscle fiber histology
US11948296B2 (en) Method and system for assessing fibrosis in a tissue sample
Gupta et al. Large-scale extraction of interpretable features provides new insights into kidney histopathology–A proof-of-concept study
Ossenberg-Engels et al. Conditional generative adversarial networks for the prediction of cardiac contraction from individual frames
Sáez et al. Neuromuscular disease classification system
Kugler et al. Segmentation of the zebrafish brain vasculature from light sheet fluorescence microscopy datasets
Yoon et al. Automated integrated system for stained neuron detection: An end-to-end framework with a high negative predictive rate
Zehtabian et al. Automated analysis of neuronal morphology through an unsupervised classification model of neurites
Tan et al. Automated Classification Map Generation of Prostate Cancer using Deep Learning
Held et al. Using multimodal information for the segmentation of fluorescent micrographs with application to virology and microbiology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination