CN115335920A - 配置用于基于区域的组织病理学学习和预测的系统及其方法 - Google Patents

配置用于基于区域的组织病理学学习和预测的系统及其方法 Download PDF

Info

Publication number
CN115335920A
CN115335920A CN202180024170.1A CN202180024170A CN115335920A CN 115335920 A CN115335920 A CN 115335920A CN 202180024170 A CN202180024170 A CN 202180024170A CN 115335920 A CN115335920 A CN 115335920A
Authority
CN
China
Prior art keywords
mask
interest
image
region
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180024170.1A
Other languages
English (en)
Inventor
达里克·M·唐
尼尚特·博鲁德
尼韦迪塔·苏雷什
埃文·兹楚
克利福德·兹楚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iruf Private Ltd
Original Assignee
Origin Laboratory Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Origin Laboratory Co ltd filed Critical Origin Laboratory Co ltd
Priority claimed from PCT/US2021/016866 external-priority patent/WO2021158952A1/en
Publication of CN115335920A publication Critical patent/CN115335920A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

组织病理学评分能够基于由生物测定识别的某些类型细胞的区域或这些细胞的基因型或表型特征的表达。使用图像分析算法自动化评分过程包括正确划定所关注区域，这一过程被称为分割。本系统和方法使用生成对抗网络完成这种分割，所述生成对抗网络被训练以生成覆盖每个所关注区域的掩膜。本发明能够通过对每个分类使用单独的图像带来执行分割和分类二者。通过解释每个区域的单独的图像带，评分算法可以利用例如肿瘤区域和免疫细胞染色区域的分类。具有更多图像带的分类问题将使用具有相等图像带数量的图像。对图像能够为每个像素编码的图像带数量没有限制。

Description

配置用于基于区域的组织病理学学习和预测的系统及其方法
相关申请
本申请要求于2020年2月5日提交的美国临时申请序列号62/970,348和于2021年2月5日提交的美国实用/发明申请序列号17/168,847的优先权，其全部内容通过引用并入本文。
版权声明
本专利文件的公开部分包含受版权保护的材料。如美国专利商标局专利文件或记录中所示，版权所有人不反对任何人传真复制专利文件或专利公开，但保留对版权的所有权利。以下声明适用于以下和构成本文件一部分的附图中描述的软件和数据：版权(Copyright)、起源实验室(Origin Labs)、保留的所有权利(All Rights Reserved)。
技术领域
本公开一般涉及配置用于基于区域的组织病理学学习和预测的一个或更多个新技术应用的基于计算机的系统、设备和组件及其方法，例如，使用细胞、细胞培养物、组织或其他图像。
背景技术
组织病理学评分能够基于通过生物测定识别的某些类型细胞的区域或这些细胞的基因型或表型特征的表达。评分一般由医学专家完成，该医学专家分析用适当的测定法染色的组织样本并估计所关注区域的比例。
附图说明
能够参考附图进一步解释本公开的各种实施例，其中类似的结构在几个视图中用类似的附图标记来表示。所示的附图不必按比例绘制，相反重点通常放在说明本公开的原理上。因此，本文所公开的具体结构和功能的细节不应被解释为限制性的，而应仅被解释为教导本领域技术人员以各种方式使用一个或更多个示例性实施例的代表性基础。
图1示出了根据本公开的一个或更多个实施例的使用组织病理学评分模型进行自动化的基于区域的组织病理学评分的示例性系统的框图。
图2示出了根据本公开的一个或更多个实施例的使用生成对抗网络进行自动化的基于区域的组织病理学评分的示例性架构的框图。
图3示出了根据本公开的一个或更多个实施例的用于训练生成对抗网络以预测自动化的基于区域的组织病理学评分(包括训练生成对抗网络)的示例性架构的框图。
图4示出了根据本公开的一个或更多个实施例的用于预测自动化的基于区域的组织病理学评分的生成对抗网络的示例性架构的框图。
图5示出了根据本公开的一个或更多个实施例的示例性基于计算机的系统和平台的框图。
图6示出了根据本公开的一个或更多个实施例的另一个示例性基于计算机的系统和平台300的框图。
图7示出了云计算/架构的示例性实现的示意图，其中本公开的说明性基于计算机的系统或平台可以具体配置为运行。
图8示出了云计算/架构的另一个示例性实现的示意图，其中本公开的说明性基于计算机的系统或平台可以具体配置为运行。
图9示出了基于所关注区域并使用人类注释图像训练的组织病理学评分的说明性GAN。
图10示出了根据本公开的实施例的各个方面的用于基于区域的评分的所关注区域的说明性分割和分类。
具体实施方式
本文公开了结合附图进行的各种详细实施例；然而，应当理解，所公开的实施例仅仅是说明性的。此外，结合本公开的各个实施例给出的每个示例旨在说明而非限制。
在整个说明书中，除非上下文另有明确规定，否则以下术语具有本文明确关联的含义。本文使用的短语“在一个实施例中”和“在一些实施例中”，不一定指代相同的实施例，虽然可能是相同的实施例。此外，本文使用的短语“在另一个实施例中”和“在一些其他实施例中”并不一定指代不同的实施例，虽然可能是不同的实施例。因此，如下所述，在不脱离本公开的范围或精神的情况下，可以容易地组合各种实施例。
此外，除非上下文另有明确规定，否则术语“基于”不是排他性的，而是允许基于未描述的其他因素。此外，在整个说明书中，“一”、“一个”和“该”的含义包括多个引用。“在……中”的含义包括“在……中”和“在……上”。
如本文所用，术语“和”和“或”可以互换使用以指代连词和转折连词中的一组项，以便包括对项的组合和替代方案的全面描述。举例来说，一组项可以用转折连词“或”，或用连词“和”列出。在任何一种情况下，该组项都应被解释为意指每个项都是单独的替选项，以及所列项的任何组合。
图1至图10说明了例如在组织或其他细胞培养物中使用细胞图像进行组织病理学评分的系统和方法。使用图像分析算法的自动化评分过程需要正确划定所关注区域，这一过程称为分割。以下实施例提供了克服以下技术领域中的技术问题、缺点和/或缺陷的技术方案和技术改进，该技术领域涉及准确和有效地划定所关注区域并根据形态学和对测定的反应性来对细胞进行分类。如下文更详细解释的，本文的技术方案和技术改进包括通过使用生成对抗网络(或GAN)在单个步骤中自动完成所关注区域的分割任务和分类任务来改进划定和分类的各个方面，所述生成对抗网络使用覆盖每个所关注区域的掩膜。本发明类似地采用GAN，通过对每个类别使用单独的图像带来执行分割和分类。基于这些技术特征，这些系统和方法的用户和操作者可以获得其他技术益处。此外，还描述了所公开技术的各种实际应用，其为用户和操作者提供了进一步的实际益处，这也是本领域中新颖的且有用的改进。
图1示出了根据本公开的一个或更多个实施例的使用组织病理学评分模型的自动化的基于区域的组织病理学评分的示例性系统的框图。
在一些实施例中，组织分析系统100可以从例如一个或更多个成像设备120摄取组织样本图像101。在一些实施例中，成像设备120可以包括例如数字显微镜、电子显微镜、数码相机或任何其他适合对组织样本的细胞成像的设备。
在一些实施例中，成像设备120与组织分析系统100通信。在一些实施例中，成像设备120可以通过物理接口连接到组织分析系统100，物理接口例如为总线、通用串行总线(USB)、串行ATA(SATA)、外设组件互连(PCI)、高速外设组件互联(PCIe)、非易失性存储器标准(non-volatile memory express，NVME)、以太网或任何其他适当的有线数据通信方案。
在一些实施例中，成像设备120可以通过无线连接(例如通过一个或更多个适当的数据通信网络(例如，互联网、卫星等))并利用一个或更多个适当的数据通讯协议/模式来传输组织样本图像101，数据通讯协议/模式例如但不限于IPX/SPX、X.25、AX.25、AppleTalk(TM)、TCP/IP(如HTTP)、蓝牙TM、近场无线通信(NFC)、RFID、窄带物联网(NBIOT)、3G、4G、5G、GSM、GPRS、WiFi、WiMax、CDMA、卫星、ZigBee和其他适当的通信模式。
在一些实施例中，组织分析系统100可以是计算设备的一部分，例如笔记本电脑、台式电脑、移动设备(例如智能手机、平板电脑或可穿戴设备)、服务器、云计算系统或任何其他适当的计算机设备或其任何组合。因此，组织分析系统100可以包括硬件组件，例如处理器112，其可以包括本地或远程处理组件。在一些实施例中，处理器112可以包括任何类型的数据处理能力，例如硬件逻辑电路，例如专用集成电路(ASIC)和可编程逻辑器件，或者例如计算设备，例如包括可编程微处理器的微型计算机或微控制器。在一些实施例中，处理器112可以包括由微处理器提供的数据处理能力。在一些实施例中，处理器可以包括存储器、处理资源、接口资源、控制器和计数器。在一些实施例中，微处理器还可以包括存储在存储器中的一个或更多个程序。
类似地，组织分析系统100可以包括存储装置113，例如本地硬盘、固态驱动器、闪存驱动器、数据库或其他本地存储装置或远程存储装置(例如服务器、大型机、数据库或云提供的存储方案)。
在一些实施例中，存储装置113可以存储与组织样本图像101的组织病理学评分相关的数据。例如，存储装置113可以在组织分析和组织病理学评分预测之前、期间或之后或其任何组合存储组织样本图像101。存储装置113还可以或者替代地存储带注释的组织样本图像111，例如组织样本图像101中表示的组织类型的组织样本图像。带注释的组织样本图像111可以由处理器112通过存储装置113来访问，使得可以训练系统组件(例如，组织病理学评分预测模型110)来通过使用单个步骤划定所关注区域并根据形态和对测定的反应性对细胞进行分类来分析组织学，以执行所关注区域的分割和根据分割的特征对感兴趣区域的分类。
在一些实施例中，组织分析系统100可以实现用于组织样本图像101中表示的组织的组织病理学评分预测的计算机引擎，例如，组织病理学评分预测模型110。在一些实施例中，术语“计算机引擎”和“引擎”标识至少一个软件组件和/或至少一个软件组件和至少一个硬件组件的组合，其设计/编程/配置用于管理/控制其他软件和/或硬件组件(例如库、软件开发包(SDK)、对象等)。
硬件元件的示例可以包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程逻辑门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。在一些实施例中，一个或更多个处理器可以实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器；x86指令集兼容处理器、多核处理器或任何其他微处理器或中央处理器(CPU)。在各种实现中，一个或更多个处理器可以是双核处理器、双核移动处理器等。
软件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、程序、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定实施例是否使用硬件元件和/或软件元件实现可以根据任意数量的因素而变化，例如期望的计算速率、功率水平、耐热性、处理周期预算、输入数据速率、输出数据速率、内存资源、数据总线速度和其他设计或性能限制。
在一些实施例中，组织病理学评分预测模型110可以包括专用的和/或共享的软件组件、硬件组件或其组合。例如，组织病理学评分预测模型110可以包括专用处理器和存储装置，或可以共享硬件资源，包括组织分析系统100的处理器112和存储装置113，或其任何组合。在一些实施例中，软件和/或硬件组件可以用于执行组织病理学评分预测模型110的功能以利用带注释的组织样本图像111来训练组织病理学评分预测模型110、生成组织样本图像101的组织病理学评分、以及如下文进一步详细描述的其他功能。
图2、图3和图4示出了根据本公开的一个或更多个实施例的使用生成对抗网络的自动化的基于区域的组织病理学评分的示例性架构的框图。
在一些实施例中，组织病理学预测模型110基于利用带注释的组织样本图像111的训练，来针对组织样本图像101中的区域预测组织病理学评分预测102。在一些实施例中，组织样本图像101和带注释的组织样本图像111可以包括任何类型的组织细胞图像，包括但不限于显微镜下的组织活检、细胞学标本和细胞培养物。在一些实施例中，组织病理学预测模型110能够通过使用每类细胞类型、生物标志物或其组合(例如，染色或其他生物标志物，例如与肿瘤细胞相关的PDL1染色等)的单独图像带来执行分割和分类。例如，细胞类型或生物标志物可包括例如坏死的组织细胞、肿瘤床、基质组织、免疫细胞、免疫炎症肿瘤等或其任何组合。因此，组织病理学模型110可以执行单个步骤，以用于根据区域内细胞或生物标志物的细胞类型对区域进行自动化分割和分类，例如，坏死检测、肿瘤床检测、肿瘤边界检测、基质组织分割、免疫排斥肿瘤检测、免疫炎症肿瘤检测、生物标志物检测或任何其他细胞类型检测或其任何组合。
在一些实施例中，通过利用图像带的掩膜执行分割和分类步骤，其中一组图像带的每个图像带代表掩膜区域中的相应细胞类型或生物标志物。例如，需要识别肿瘤区域和免疫细胞染色区域的评分算法可以用不同的图像带(例如，红色对绿色、灰度带或任何其他组图像带)代表每个区域。具有更多图像带的分类问题将使用具有相等数量的图像带的图像(对图像能够为每个像素编码的图像带的数量没有限制)。
训练和使用模型来一起识别和分类样本中的多个细胞区域的一个优点是，该模型学习了组织学的语境特征，这往往是正确识别视觉上相似的细胞的重要信号。在一些实施例中，语境特征可以包括例如细胞形态(例如，在肿瘤细胞的情况下的肿瘤形态)、相邻的细胞、细胞相对于区域边界的相对定位、与不同区域的距离、或组织学的其他适当的特征或其任何组合。
在一些实施例中，语境特征有助于预测组织样本图像101中各区域的图像带。因此，组织病理学预测模型110可以摄取组织样本图像101，并根据组织样本图像101中描绘的语境特征，为每个图像带生成掩膜。每个掩膜表示与对应于掩膜的图像带的细胞类型或生物标志物相关联的区域。因此，每个掩膜相对于特定细胞类型或生物标志物划定所关注区域，包括所关注区域的分割和所关注区域中细胞的分类。
在一些实施例中，组织病理学预测模型110可以配置为利用一种或更多种示例性AI或机器学习技术，这些技术选自但不限于决策树、提升(boosting)、支持向量机、神经网络、最近邻算法、朴素贝叶斯、装袋(bagging)、随机森林等。在一些实施例中，并且可选地，结合上述或下述的任何实施例，示例性神经网络技术可以是以下之一但不限于以下：前馈神经网络、径向基函数网络、递归神经网络、卷积网络(例如，U-net)或其他适当的网络。在一些实施例中，并且可选地，结合上述或下述的任何实施例，可以如下执行神经网络的示例性实现：
i)定义神经网络架构/模型，
ii)将输入数据传输到示例性神经网络模型，
iii)递增地训练示例性模型，
iv)确定特定数量的时间步的精度，
v)应用示例性训练模型来处理新接收的输入数据，
vi)可选且并行地以预定周期继续训练示例性训练模型。
在一些实施例中，并且可选地，结合上述或下述的任何实施例，示例性训练神经网络模型可以通过至少一个神经网络拓扑、一系列激活函数和连接权重来指定神经网络。例如，神经网络的拓扑结构可以包括神经网络节点的配置以及这样的节点之间的连接。在一些实施例中，并且可选地，结合上述或下述的任何实施例，示例性训练神经网络模型还可以被指定为包括其他参数，包括但不限于偏差值、函数和聚合函数。例如，节点的激活函数可以是阶跃函数、正弦函数、连续或分段线性函数、sigmoid函数、双曲正切函数或表示节点被激活的阈值的其他类型的数学函数。在一些实施例中，并且可选地，结合上述或下述的任何实施例，示例性聚合函数可以是组合(例如，求和、乘积等)到节点的输入信号的数学函数。在一些实施例中，并且可选地，结合上述或下述的任何实施例，示例性聚合函数的输出可以用作示例性激活函数的输入。在一些实施例中，并且可选地，结合上述或下述的任何实施例，偏差可以是恒定值或函数，所述恒定值或函数可以由聚合函数和/或激活函数使用，以使节点更可能或更不可能被激活。
在一些实施例中，组织病理学评分预测模型110利用生成对抗网络(GAN)生成组织病理学评分预测102。为此，可以使用带注释的组织样本图像111来训练组织病理学评分预测模型110。在一些实施例中，医学专家通过放置适当标记(即着色)的注释来注释组织样本的数字表示以形成带注释的组织样本图像111，所述注释包括表示所关注区域的多边形注释。这些注释可以包括例如在已知所关注区域周围(例如，在具有组织病理学分数预测模型110要识别的类型的细胞的区域周围)的彩色编码手绘边界。在本文中，“手绘”是指在人的指导下创建注释的任何技术，例如，扫描具有使用钢笔、铅笔、记号笔等绘制的注释的图像的物理副本等、使用数字图像编辑软件(例如Adobe Photoshop、Microsoft Paint、GIMP等)或任何其他适当的技术。因此，带注释的组织样本图像111中的这些注释可以是近似的，并且组织病理学评分预测模型110或其他模型的计算机视觉组件能够用于在所述多边形内创建更精确的掩膜。多边形(和可选的计算机视觉辅助选择)被转换为具有适当图像带的(可能交叠的)掩膜的图像。在一些实施例中，组织病理学评分预测模型110被训练以根据原始的未标记的图像(例如组织样本图像101)生成图像。
在一些实施例中，将注释转换为用于训练GAN的精确掩膜的计算机视觉技术可以包括例如用于识别边界或多边形并划定多边形内的细胞的任何合适技术。例如，计算机视觉技术可以包括例如用于识别注释(例如，手绘多边形)的颜色检测步骤。然后可以执行用于识别由注释分割的分割区域的步骤，例如，对图像进行灰度阈值化并识别灰度阈值化后剩余的图像岛。注释内的任何岛可以被识别为分割区域的一部分。在识别出岛和分割区域后，可以执行边界细化以创建标出分割区域轮廓的精确边界。可以产生该精确边界作为具有对应于注释的细胞类型或生物标志物(例如，根据注释的检测颜色)的图像带的掩膜。
在一些实施例中，GAN包括生成器114和判别器115。在一些实施例中，能够在任何适当的生成器算法(例如DenseNet、FCN、UNet或其他取决于测定法的架构)中选择生成器114。在一些实施例中，判别器115可以包括适当的卷积神经网络，例如，与生成器114类似的网络或类似类型的网络，例如ResNet、FCN等，以及相对简单的卷积神经网络。
在一些实施例中，生成器114可以为每个细胞类型或生物标志物生成单独的掩膜，以掩盖区域，例如，使用灰度中的每个带对应于特定细胞类型或生物标志物的灰度图。判别器115网络为分类器，其识别哪些掩膜是真实的(真值)或由生成器114生成的。因此，在一些实施例中，使用均方误差(MSE)、平均绝对误差(MAE)或其他适当的回归损失函数116来比较生成器114输出的掩膜与真实掩膜。在一些实施例中，训练在两个阶段进行以提高预测精度：仅预训练生成器114和训练完整的GAN。预训练可以利用例如500到1000个时期或更多的训练数据，而训练GAN可以利用例如多达1000个时期或更多的训练数据。
在一些实施例中，在训练后，组织病理学评分预测模型110可以摄取每个组织样本图像101，并处理所关注区域，以产生具有掩膜的图像(例如，参见图10)。在一些实施例中，每个掩膜可以包括对应于细胞类型或生物标志物的带，例如灰度带，或任何其他颜色或灰度带组。在一些实施例中，掩膜可以覆盖组织样本图像101的相应区域。因此，每个掩膜为每个掩膜划定与图像带的细胞类型或生物标志物相对应的所关注区域。为了捕获组织学的特征，可以对每个掩膜进行归一化，以将掩膜中每个像素的面积值设置为等于1。因此，根据掩膜的分割区域的面积可以被确定为掩膜中存在的像素数量之和。因此，每个掩膜包括所关注区域的分割的信息以及所关注区域中的组织学特征的信息。
对每个图像带，对所有像素值求和。每个带的最终总和表示相应类型区域的相对面积。使用得到的所关注区域计算组织病理学评分预测102。在一些实施例中，组织病理学评分预测102可以基于特定细胞类型或生物标志物的面积与组织样本的总面积之比，或者与一个或更多个其他细胞类型或生物标志物的面积之比，或其任何组合。例如，为了确定肿瘤的组织病理学评分预测102，可以产生两个掩膜，一个掩膜用于对肿瘤细胞区域进行分类的图像带，并且另一个掩膜用于对免疫细胞区域进行分类的图像带。使用作为每个肿瘤细胞区域和免疫细胞区域的像素数的结果的面积计算，可以确定比率，包括例如肿瘤细胞面积除以肿瘤和免疫细胞的总面积
Figure BDA0003862028990000101
这个方法论可以用于对任何类型的所关注的细胞区域进行评分，例如坏死检测、肿瘤床检测、肿瘤边界检测、基质组织分割、免疫排斥肿瘤检测、免疫炎症肿瘤检测、生物标志物检测或任何其他细胞类型检测或其任何组合。
在一些实施例中，然后可以向用户例如患者护理提供者、实验室技术人员或其他专业人员显示组织病理学评分预测102，例如以诊断或研究结果数据。例如，组织病理学评分预测102可以例如在计算设备130(例如笔记本电脑、台式电脑、移动设备、瘦客户端、终端等)处显示，和/或在下述的客户端设备202-204处显示。因此，可以利用测试结果分析组织样本或其他细胞图像，所述测试结果包括通过形成图像中的细胞的分割和分类而自动生成并快速有效地提供给用户的组织病理学评分预测102。通过使用组织病理学评分预测模型110在单个步骤中形成分割和分类，通过减少分析图像所需的操作和内存来减少处理资源，以提高计算效率、成像复杂度和准确性。因此，细胞成像系统和图像分析系统的领域和技术得到了改进，以更高效、更准确地产生组织病理学评分，而无需用户输入。
图5示出了根据本公开的一个或更多个实施例的示例性基于计算机的系统和平台200的框图。然而，并非所有这些组件都需要用于实践一个或更多个实施例，并且可以在不脱离本公开的各个实施例的精神或范围的情况下对组件的布置和类型进行变化。在一些实施例中，如本文详述的，示例性基于计算机的系统和平台200的说明性计算设备和说明性计算组件可配置为管理大量成员和并发事务。在一些实施例中，示例性基于计算机的系统和平台200可以基于可扩展的计算机和网络架构，所述架构包含用于评估数据、缓存、搜索和/或数据库连接池的各种策略。可扩展架构的示例是能够操作多个服务器的架构。
在一些实施例中，参照图5，示例性基于计算机的系统和平台200成员202-204(例如，客户端)可以包括能够通过例如网络205的网络(例如，云网络)向以及从例如服务器206和207的另一个计算设备彼此接收和发送消息的几乎任何计算设备以及类似设备。在一些实施例中，成员设备202-204可以是个人计算机、多处理器系统、基于微处理器或可编程的消费类电子产品、网络PC等类似设备。在一些实施例中，成员设备202-204中的一个或更多个成员设备可以包括通常使用无线通信介质进行连接的计算设备，例如手机、智能手机、寻呼机、对讲机、射频(RF)设备、红外(IR)设备、CBs、对一个或更多个前述设备进行组合的集成设备，或者几乎任何移动计算设备等类似设备。在一些实施例中，成员设备202-204中的一个或更多个成员设备可以是能够使用有线或无线通信介质进行连接的设备，例如PDA、POCKET PC、可穿戴式计算机、笔记本电脑、平板电脑、台式电脑、上网本、视频游戏设备、寻呼机、智能手机、超移动个人计算机(UMPC)和/或任何其他配备成通过有线和/或无线通信介质(例如，NFC、RFID、NBIOT、3G、4G、5G、GSM、GPRS、WiFi、WiMax、CDMA、卫星、ZigBee等)进行通信的设备。在一些实施例中，成员设备202-204中的一个或更多个成员设备可以包括可以运行一个或更多个应用，例如互联网浏览器、移动应用、语音通话、视频游戏、视频会议和电子邮件等。在一些实施例中，成员设备202-204中的一个或更多个成员设备可以配置为接收和发送网页等。在一些实施例中，本公开的示例性具体编程的浏览器应用可以配置为使用几乎任何基于web的语言接收和显示图形、文本、多媒体等，基于web的语言包括但不限于标准通用标记语言(SMGL)例如超文本标记语言(HTML)、无线应用协议(WAP)、手持设备标记语言(HDML)例如无线标记语言(WML)、WMLScript、XML、JavaScript等类似语言。在一些实施例中，成员设备202-204中的成员设备可以由Java、.Net、QT、C、C++中的任何一个和/或其他适当的编程语言具体编程。在一些实施例中，成员设备202-204中的一个或更多个成员设备可以具体编程为包括或执行应用，以执行各种可能的任务，例如但不限于通讯功能、浏览、搜索、播放、流媒体或显示各种形式的内容，包括本地存储或上传的消息、图像和/或视频和/或游戏。
在一些实施例中，示例性网络205可以向与其耦合的任何计算设备提供网络访问、数据传输和/或其他服务。在一些实施例中，示例性网络205可以包括并实现至少一种专用网络架构，所述网络架构可以至少部分地基于由例如但不限于全球移动通信系统(GSM)协会、互联网工程任务组(IETF)和全球微波接入互操作性(WiMAX)论坛设置的一个或更多个标准。在一些实施例中，示例性网络205可以实现GSM架构、通用分组无线服务(GPRS)架构、通用移动电信系统(UMTS)架构和称为长期演进(LTE)的UMTS的演进中的一个或更多个。在一些实施例中，示例性网络205可以作为替代方案或结合上述一个或更多个包括并实现由WiMAX论坛定义的WiMAX架构。在一些实施例中，并且可选地，结合上述或下述任何实施例，示例性网络205还可以包括例如局域网(LAN)、广域网(WAN)、互联网、虚拟局域网(VLAN)、企业局域网、三层虚拟专用网(VPN)、企业IP网络或其任何组合中的至少一个。在一些实施例中，并且可选地，结合上述或下述任何实施例，可以至少部分地基于一个或更多个通信模式来传输示例性网络205上的至少一个计算机网络通信，一个或更多个通信模式例如但不限于：NFC、RFID、窄带物联网(NBIOT)、ZigBee、3G、4G、5G、GSM、GPRS、WiFi、WiMax、CDMA、卫星及其任何组合。在一些实施例中，示例性网络205还可以包括大容量存储，例如网络附加存储(NAS)、存储区域网络(SAN)、内容交付网络(CDN)或其他形式的计算机或机器可读介质。
在一些实施例中，示例性服务器206或示例性服务器207可以是运行网络操作系统的web服务器(或一系列服务器)，其示例可以包括但不限于Microsoft Windows Server、Novell NetWare或Linux。在一些实施例中，示例性服务器206或示例性服务器207可以用于和/或提供云和/或网络计算。尽管图5中未示出，但在一些实施例中，示例性服务器206或示例性服务器207可以连接至外部系统，如电子邮件、SMS通讯、文本通讯、广告内容提供商等。示例性服务器206的任何特征也可以在示例性服务器207中实现，反之亦然。
在一些实施例中，在非限制性示例中，示例性服务器206和207中的一个或更多个可以具体编程作为认证服务器、搜索服务器、电子邮件服务器、社交网络服务服务器、SMS服务器、IM服务器、MMS服务器、交换服务器、照片共享服务服务器、广告提供服务器、金融/银行相关服务服务器、旅游服务服务器或用于成员计算设备202-204的用户的任何类似的适合服务基础服务器来执行。
在一些实施例中，并且可选地，结合上述或下述任何实施例，例如，一个或更多个示例性计算成员设备202-204、示例性服务器206和/或示例性服务器207可以包括具体编程的软件模块，所述软件模块可以配置为使用脚本语言、远程过程调用、电子邮件、推特、短消息服务(SMS)、多媒体消息服务(MMS)、即时通讯(IM)、互联网中继聊天(IRC)、mIRC、Jabber、应用编程接口、简单对象访问协议(SOAP)方法、通用对象请求代理架构(CORBA)、HTTP(超文本传输协议)、REST(表征状态转移)，或其任何组合发送、处理和接收信息。
图6示出了根据本公开的一个或更多个实施例的另一示例性基于计算机的系统和平台300的框图。然而，实践一个或更多个实施例并非需要所有这些组件，并且可以在不脱离本公开的各个实施例的精神或范围的情况下对组件的布置和类型进行变化。在一些实施例中，所示的成员计算设备302a、302b至302n各自至少包括计算机可读介质，例如耦合到处理器310或闪存的随机存取存储器(RAM)308。在一些实施例中，处理器310可以执行存储在存储器308中的计算机可执行程序指令。在一些实施例中，处理器310可以包括微处理器、ASIC和/或状态机。在一些实施例中，处理器310可以包括介质，或可以与介质通信，该介质例如为计算机可读介质，该介质存储当由处理器310执行时可以使处理器310执行本文所述的一个或更多个步骤的指令。在一些实施例中，计算机可读介质的示例可以包括但不限于能够向处理器(例如成员计算设备302a的处理器310)提供计算机可读指令的电子、光学、磁性或其他存储或传输设备。在一些实施例中，合适介质的其他示例可以包括但不限于软盘、CD-ROM、DVD、磁盘、存储芯片、ROM、RAM、ASIC、经配置的处理器、全光学介质、全磁带或其他磁性介质，或计算机处理器能够从中读取指令的任何其他介质。此外，各种其他形式的计算机可读介质可以向计算机传输或携带指令，该计算机包括路由器、专用或公共网络或其他有线和无线传输设备或信道。在一些实施例中，指令可以包括来自任何计算机编程语言的代码，该计算机编程语言例如包括C、C++、Visual Basic、Java、Python、Perl、JavaScript等。
在一些实施例中，成员计算设备302a至302n还可以包括许多外部或内部设备，例如鼠标、CD-ROM、DVD、物理或虚拟键盘、显示器或其他输入或输出设备。在一些实施例中，成员计算设备302a至302n(例如，客户端)的示例可以是连接到网络306的任何类型的基于处理器的平台，例如不限于个人计算机、数字助理、个人数字助理、智能电话、寻呼机、数字平板电脑、笔记本电脑、互联网设备和其他基于处理器的设备。在一些实施例中，成员计算设备302a至302n可以根据本文详述的一个或更多个原理/方法，具体编程为一个或更多个应用程序。在一些实施例中，成员计算设备302a至302n可以在能够支持浏览器或启用浏览器的应用的任何操作系统上操作，例如MicrosoftTM、WindowsTM和/或Linux。在一些实施例中，所示的成员计算设备302a至302n可以包括例如执行浏览器应用程序的个人计算机，例如微软公司的Internet ExplorerTM，苹果电脑公司的SafariTM，Mozilla Firefox和/或Opera。在一些实施例中，通过成员计算设备302a至302n，用户302a至302n可以通过示例性网络306彼此通信和/或与耦合到网络306的其他系统和/或设备通信。如图6所示，示例性服务器设备304和313也可以耦合到网络306。在一些实施例中，一个或更多个成员计算设备302a至302n可以是移动客户端。
在一些实施例中，示例性数据库307和315中的至少一个数据库可以是任何类型的数据库，包括由数据库管理系统(DBMS)管理的数据库。在一些实施例中，示例性DBMS管理的数据库可以具体编程为控制相应数据库中数据的组织、存储、管理和/或检索的引擎。在一些实施例中，示例性DBMS管理的数据库可以具体编程以提供查询、备份和复制、强制执行规则、提供安全性、计算、执行更改和访问日志和/或自动优化的能力。在一些实施例中，示例性DBMS管理的数据库可以从Oracle数据库、IBM DB2、Adaptive Server Enterprise、FileMaker、Microsoft Access、Microsoft SQL Server、MySQL、PostgreSQL和NoSQL实现中选择。在一些实施例中，可以根据本公开的特定数据库模型，对示例性DBMS管理的数据库进行具体编程，以定义示例性DBM中每个数据库的每个相应模式，所述数据库模型可以包括分层模型、网络模型、关系模型、对象模型，或者可以产生一个或更多个可应用的数据结构的一些其他适当的组织，所述数据结构可以包括字段、记录、文件和/或对象。在一些实施例中，示例性DBMS管理的数据库可以具体编程以包括关于存储的数据的元数据。
在一些实施例中，本公开的示例性基于计算机的系统或平台可以具体配置为在云计算/架构中操作，例如但不限于：基础设施即服务(laaS)、平台即服务(PaaS)和/或软件即服务(SaaS)。图7和图8示出了云计算/架构的示例性实现的示意图，其中本公开的示例性基于计算机的系统或平台可以被具体配置以操作。
图9示出了基于所关注区域并使用人类注释图像训练的组织病理学评分的示例性GAN。
图10示出了根据本公开的实施例的各个方面的用于基于区域的评分的对所关注区域的示例性分割和分类。如图所示，组织病理学评分预测模型110可以摄取组织样本图像101，并在本例中自动生成三种不同的细胞类型(细胞区域类型1、细胞区域类型2和细胞区域类型3)的三个图像带的三个掩膜。基于训练GAN，组织病理学评分预测模型110识别组织样本的组织学的语境特征以创建三个掩膜。每个掩膜包括单独的图像带，每个图像带对应于细胞区域类型1、细胞区域类型2和细胞区域类型3中的一个。每个掩膜的面积可以根据每个掩膜中包括的像素数量确定，因此，能够根据特定细胞区域类型与所有三个掩膜的总面积之比针对特定细胞区域类型生成评分(例如，
Figure BDA0003862028990000161
其中CAT1Area是指细胞区域类型1的面积，CAT2 Area是指细胞区域类型2的面积，并且CAT3 Area是指细胞区域类型3的面积。
应该理解，本文描述的各种实施例的至少一个方面/功能能够实时和/或动态地执行。如本文所用，术语“实时”是指当另一个事件/动作发生时能够即时或几乎即时发生的事件/动作。例如，“实时处理”、“实时计算”和“实时执行”全部都与相关物理过程(例如，用户与移动设备上的应用交互)发生的实际时间期间计算的执行有关，以便计算结果能够用于指导物理过程。
如本文所用，术语“动态”和术语“自动”以及它们的逻辑和/或语言亲属和/或衍生物意味着某些事件和/或动作能够在没有任何人为干预的情况下触发和/或发生。在一些实施例中，根据本公开的事件和/或者动作可以是实时的和/或基于以下至少一个的预定的周期：纳秒、几纳秒、毫秒、几毫秒、秒、几秒、分钟、几分钟、小时、几小时、天、几天、每周、每月等。
至少一个实施例的一个或更多个方面可以通过存储在表示处理器内各种逻辑的机器可读介质上的代表性指令来实现，这些指令当由机器读取时，使机器制造逻辑以执行本文所述的技术。称为“IP核”的这种表示可以存储在有形的、机器可读的介质上，并提供给各种客户或制造设施，以加载到形成逻辑或处理器的制造机器中。值得注意的是，本文描述的各种实施例完全可以使用任何适当的硬件和/或计算软件语言(例如，C++、Objective-C、Swift、Java、JavaScript、Python、Perl、QT等)来实现。
在一些实施例中，本公开的一个或更多个示例性基于计算机的系统或平台可以部分或全部包括或并入至少一台个人计算机(PC)、笔记本电脑、超级笔记本电脑、平板电脑、触摸板、便携式计算机、手持式计算机、掌上电脑、个人数字助理(PDA)、蜂窝电话、蜂窝电话/PDA的组合、电视、智能设备(例如，智能手机、智能平板电脑或智能电视)、移动互联网设备(MID)、通讯设备、数据通信设备等。
如本文所用，术语“服务器”应理解为指提供处理、数据库和通信设施的服务点。作为示例而非限制，术语“服务器”可以是指具有相关通信和数据存储及数据库设施的单个物理处理器，也可以是指处理器和相关网络及存储设备的网络化或集群化复合体，以及支持由服务器提供的服务的操作软件和一个或更多个数据库系统和应用软件。云服务器是示例。
在一些实施例中，如本文详述的，本发明的一个或更多个基于计算机的系统可以获得、操作、传输、存储、转换、生成和/或输出任何数字对象和/或数据单元(例如，来自特定应用的内部和/或外部)，其可以是任何适当的形式，例如但不限于文件、联系人、任务、电子邮件、消息、地图、整个应用(例如，计算器)、数据点和其他适当的数据。在如本文详述的一些实施例中，本公开的一个或更多个基于计算机的系统可以在各种计算机平台中的一个或更多个上实现，例如但不限于：(1)Linux、(2)Microsoft Windows、(3)OS X(Mac OS)、(4)Solaris、(5)UNIX(6)VMWare、(7)Android、(8)Java平台、(9)Open Web平台、(10)Kubernetes或其他适当的计算机平台。在一些实施例中，本公开的示例性基于计算机的系统或平台可以配置为利用硬件电路，所述硬件电路可以被用于替代软件指令或与软件指令结合使用，以实现与本公开的原理一致的特征。因此，符合本公开原理的实现不限于硬件电路和软件的任何特定组合。例如，各种实施例可以以许多不同的方式实施为软件组件，例如但不限于独立软件包、软件包的组合，或者可以是作为“工具”合并到更大软件产品中的软件包。
例如，根据本公开的一个或更多个原理的具体编程的示例性软件可以作为独立的产品或作为用于安装在现有软件应用中的附加包从网络(例如网站)上下载。例如，根据本公开的一个或更多个原理的具体编程的示例性软件也可以作为客户端-服务器软件应用或支持web的软件应用获得。例如，根据本公开的一个或更多个原理的具体编程的示例性软件也可以实现为安装在硬件设备上的软件包。
在一些实施例中，本公开的示例性基于计算机的系统或平台可以配置为处理众多并发用户，这些并发用户可以是但不限于至少100个(例如但不限于100至999个)、至少1,000个(例如但不限于1,000至9,999个、至少10000个(例如但不限于10,000至99,999个)、至少100,000个(例如但不限于100,000至999,999个)、至少1,000,000个(例如但不限于1,000,000至9,999,999个)、至少10,000,000个(例如但不限于10,000,000至99,999,999个)、至少100,000,000个(例如但不限于100,000,000至999,999,999个)、至少1,000,000,000个(例如但不限于1,000,000,000至999,999,999,999个)等等。
在一些实施例中，本公开的示例性基于计算机的系统或平台可以配置为输出到本公开的不同的、具体编程的图形用户界面实现(例如，桌面、web应用等)。在本公开的各种实现中，最终输出可以显示在显示屏上，显示屏可以是但不限于计算机屏幕、移动设备屏幕等或类似物。在各种实现中，显示器可以是全息显示器。在各种实现中，显示器可以是可接收视觉投影的透明表面。这种投影可以传递各种形式的信息、图像或对象。例如，这种投影可以是移动增强现实(MAR)应用的视觉叠加。
如本文所用，术语“移动设备”或类似术语可以指任何可能启用或可能未启用位置跟踪功能(例如，MAC地址、互联网协议(IP)地址或类似物)的便携式电子设备。例如，移动电子设备可以包括但不限于移动电话、个人数字助理(PDA)、BlackberryTM、寻呼机、智能手机或任何其他合理的移动电子设备。
如本文所用，术语“云”、“互联网云”、“云计算”、“云架构”和类似术语对应于以下至少一项：(1)通过实时通信网络(例如互联网)连接的大量计算机；(2)提供同时在许多已连接的计算机(例如物理机、虚拟机(VM))上运行程序或应用程序的能力；(3)基于网络的服务，所述服务看似由真实服务器硬件提供，而实际由虚拟硬件(例如，虚拟服务器)提供，由运行在一台或更多台真实机器上的软件模拟(例如，允许在不影响终端用户的情况下快速移动和放大(或缩小))。
在一些实施例中，本公开的示例性基于计算机的系统或平台可以配置为通过利用一种或多种加密技术(例如，私钥/公钥对、三重数据加密标准(3DES)、分组密码算法(例如IDEA、RC2、RC5、CAST和Skipjack)、密码哈希算法(例如，MD5、RIPEMD-160、RTR0、SHA-1、SHA-2、Tiger(TTH)、WHIRLPOOL、RNGs)。
上述示例无疑是示例性的，而非限制性的。
如本文所用，术语“用户”应具有至少一个用户的含义。在一些实施例中，术语“用户”、“订户”、“消费者”或“客户”应理解为指本文所述的一个或更多个应用的用户和/或由数据提供商提供的数据的消费者。作为示例而非限制，术语“用户”或“订户”可以是指在浏览器会话中通过互联网接收由数据或服务提供商提供的数据的人，或者可以指接收数据并存储或处理数据的自动化软件应用。
虽然已经描述了本公开的一个或更多个实施例，但应当理解，这些实施例仅是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说，许多修改(包括本发明方法的各种实施例、本文所描述的示例性系统和平台以及示例性设备可以彼此任意组合使用)可能是显而易见的。此外，各种步骤可以按照任何期望的顺序进行(并且可以增加任何期望的步骤和/或去除任何期望的步骤)。

Claims (20)

1.一种方法，包括：
由至少一个处理器接收包括组织的多个细胞的数字表示的组织图像；
由所述至少一个处理器利用组织病理学评分模型基于所学习的组织病理学评分参数来预测至少一个掩膜，所述至少一个掩膜根据细胞类型或生物标志物来划定组织图像中的所关注区域；
其中，所述至少一个掩膜的每个掩膜包括：
i)由标记像素形成的至少一个多边形，其表示所述所关注区域的每个所关注区域的划定，以及
ii)与所述标记像素相关联的至少一个标记，其表示所述所关注区域的每个所关注区域中的细胞类型或细胞类型的生物标志物；
由所述至少一个处理器在所有像素上确定与每个掩膜相关联的值的总和；
其中，所述值的总和表示至少部分地基于每个所关注区域的图像带的所述所关注区域的每个所关注区域的面积的度量；
由所述至少一个处理器至少部分地基于每个所关注区域的面积的度量确定组织病理学评分；以及
由所述至少一个处理器使得在与至少一个用户相关联的至少一个计算设备的至少一个屏幕上显示所述组织病理学评分。
2.根据权利要求1所述的方法，其中，所述组织病理学评分模型包括生成对抗网络(GAN)。
3.根据权利要求1所述的方法，其中，所述标记像素包括表示细胞类型或生物标志物的一组分类的一组图像带，其中，每个掩膜的至少一个标记包括所述一组图像带的图像带，该图像带表示按细胞类型或生物标志物的一组分类中的按细胞类型或生物标志物的分类。
4.根据权利要求3所述的方法，其中，所述一组图像带包括多个灰度带。
5.根据权利要求1所述的方法，还包括由所述至少一个处理器归一化每个掩膜，以产生对于每个掩膜中的每个像素等效的每个像素的像素值。
6.根据权利要求5所述的方法，其中，所述像素值包括值1。
7.根据权利要求1所述的方法，还包括由所述至少一个处理器至少部分地基于与所述细胞类型或生物标志物中的特定细胞类型或生物标志物相关联的掩膜的面积与所述至少一个掩膜的总面积之比来确定所述特定细胞类型或生物标志物的特定于细胞类型的组织病理学评分。
8.一种系统，包括：
至少一个处理器，其与至少一个存储器通信并配置为访问存储在所述存储器中的指令，其中，所述指令使所述至少一个处理器执行步骤，以：
接收包括组织的多个细胞的数字表示的组织图像；
利用组织病理学评分模型基于所学习的组织病理学评分参数来预测至少一个掩膜，所述至少一个掩膜根据细胞染色来划定组织图像中的所关注区域；
其中，所述至少一个掩膜的每个掩膜包括：
i)由标记像素形成的至少一个多边形，其表示所述所关注区域的每个所关注区域的划定，以及
ii)与所述标记像素相关联的至少一个标记，其表示所关注区域的每个所关注区域的图像带；
在所有像素上确定与每个图像带相关联的值的总和；
其中，所述值的总和表示至少部分地基于每个所关注区域的图像带的所述所关注区域的每个所关注区域的面积的度量；
至少部分地基于每个所关注区域的面积的度量确定组织病理学评分；以及
使得在与至少一个用户相关联的至少一个计算设备的至少一个屏幕上显示所述组织病理学评分。
9.根据权利要求8所述的系统，其中，所述组织病理学评分模型包括生成对抗网络(GAN)。
10.根据权利要求8所述的系统，其中，所述标记像素包括表示细胞类型或生物标志物的一组分类的一组图像带，其中，每个掩膜的所述至少一个标记包括所述一组图像带的图像带，该图像带表示按细胞类型或生物标志物的一组分类中的按细胞类型或生物标志物的分类。
11.根据权利要求10所述的系统，其中，所述一组图像带包括多个灰度带。
12.根据权利要求8所述的系统，其中，所述指令还使所述至少一个处理器执行以下步骤：归一化每个掩膜，以产生对于每个掩膜中的每个像素等效的每个像素的像素值。
13.根据权利要求12所述的系统，其中，所述像素值包括值1。
14.根据权利要求8所述的系统，其中，所述指令还使所述至少一个处理器执行以下步骤：至少部分地基于与细胞类型的特定细胞类型或生物标志物相关联的掩膜的面积与所述至少一个掩膜的总面积之比来确定所述特定细胞类型或生物标志物的特定于细胞类型的组织病理学评分。
15.一种具有存储在其上的软件指令的非暂时性计算机可读介质，所述软件指令配置为使至少一个处理器执行步骤，所述步骤包括：
接收包括组织的多个细胞的数字表示的组织图像；
利用组织病理学评分模型基于所学习的组织病理学评分参数来预测至少一个掩膜，所述至少一个掩膜根据细胞类型或生物标志物来划定组织图像中的所关注区域；
其中，所述至少一个掩膜的每个掩膜包括：
i)由标记像素形成的至少一个多边形，其表示所述所关注区域的每个所关注区域的划定，以及
ii)与所述标记像素相关联的至少一个标记，其表示所述所关注区域的每个所关注区域中的细胞类型或细胞类型的生物标志物；
在所有像素上确定与每个掩膜相关联的值的总和；
其中，所述值的总和表示至少部分地基于每个所关注区域的图像带的所述所关注区域的每个所关注区域的面积的度量；
至少部分地基于每个所关注区域的面积的度量确定组织病理学评分；以及
使得在与至少一个用户相关联的至少一个计算设备的至少一个屏幕上显示所述组织病理学评分。
16.根据权利要求15所述的非暂时性计算机可读介质，其中，所述组织病理学评分模型包括生成对抗网络(GAN)。
17.根据权利要求15所述的非暂时性计算机可读介质，其中，所述标记像素包括表示细胞类型或生物标志物的一组分类的一组图像带，其中，每个掩膜的所述至少一个标记包括所述一组图像带的图像带，该图像带表示按细胞类型或生物标志物的一组分类中的按细胞类型或生物标志物的分类。
18.根据权利要求17所述的非暂时性计算机可读介质，其中，所述一组图像带包括多个灰度带。
19.根据权利要求15所述的非暂时性计算机可读介质，其中，所述软件指令进一步配置为使所述至少一个处理器执行步骤，所述步骤包括归一化每个掩膜，以产生对于每个掩膜中的每个像素等效的每个像素的像素值。
20.根据权利要求15所述的非暂时性计算机可读介质，其中，所述软件指令进一步配置为使所述至少一个处理器执行步骤，所述步骤包括至少部分地基于与细胞类型的特定细胞类型或生物标志物相关联的掩膜的面积与所述至少一个掩膜的总面积之比来确定所述特定细胞类型或生物标志物的特定于细胞类型的组织病理学评分。
CN202180024170.1A 2020-02-05 2021-02-05 配置用于基于区域的组织病理学学习和预测的系统及其方法 Pending CN115335920A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062970348P 2020-02-05 2020-02-05
US62/970,348 2020-02-05
PCT/US2021/016866 WO2021158952A1 (en) 2020-02-05 2021-02-05 Systems configured for area-based histopathological learning and prediction and methods thereof

Publications (1)

Publication Number Publication Date
CN115335920A true CN115335920A (zh) 2022-11-11

Family

ID=83916534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180024170.1A Pending CN115335920A (zh) 2020-02-05 2021-02-05 配置用于基于区域的组织病理学学习和预测的系统及其方法

Country Status (2)

Country Link
EP (1) EP4100966A4 (zh)
CN (1) CN115335920A (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015054666A1 (en) * 2013-10-10 2015-04-16 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes

Also Published As

Publication number Publication date
EP4100966A4 (en) 2024-02-21
EP4100966A1 (en) 2022-12-14

Similar Documents

Publication Publication Date Title
US20190087686A1 (en) Method and apparatus for detecting human face
US11244232B2 (en) Feature relationship recommendation method, apparatus, computing device, and storage medium
Sonigo et al. High-throughput ovarian follicle counting by an innovative deep learning approach
Habtemariam et al. Cervix type and cervical cancer classification system using deep learning techniques
Rekha et al. Artificial intelligence marketing: An application of a novel lightly trained support vector data description
WO2023165145A1 (zh) 时序流量预测方法及装置、存储介质及电子设备
US11640416B2 (en) Computer-based systems configured for efficient entity resolution for database merging and reconciliation
US20210241040A1 (en) Systems and Methods for Ground Truth Dataset Curation
US20230046532A1 (en) Computer-based systems configured for automated computer script analysis and malware detection and methods thereof
US20210407080A1 (en) Systems and Methods for Characterizing Cells and Microenvironments
WO2021155153A1 (en) Computer-based systems configured for reference-free color correction and methods thereof
US12045571B2 (en) Computer-based systems having data structures configured for machine learning classification of entities and methods of use thereof
Zheng et al. Predictive study of tuberculosis incidence by time series method and Elman neural network in Kashgar, China
Xu et al. Histopathological tissue segmentation of lung cancer with bilinear CNN and soft attention
US20210241121A1 (en) Systems Configured for Cell-Based Histopathological Learning and Prediction and Methods Thereof
US11158398B2 (en) Systems configured for area-based histopathological learning and prediction and methods thereof
CN115335920A (zh) 配置用于基于区域的组织病理学学习和预测的系统及其方法
WO2022247448A1 (zh) 数据处理方法、装置、计算设备和计算机可读存储介质
US11321843B1 (en) Adaptive machine learning system for image based biological sample constituent analysis
US20230306602A1 (en) Information generation method and apparatus, electronic device, and computer readable medium
Yang et al. MSF-YOLO: A multi-scale features fusion-based method for small object detection
Zhou et al. Dynamic foreground detection based on improved Codebook model
Yang et al. Abnormal Interference Recognition Based on Rolling Prediction Average Algorithm
Ramgopal et al. Masked Facial Recognition in Security Systems Using Transfer Learning
Niu et al. Designing compact convolutional filters for lightweight human pose estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230418

Address after: Singapore, Singapore

Applicant after: Iruf Private Ltd.

Address before: California, USA

Applicant before: Origin Laboratory Co.,Ltd.