CN112329807A - 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质 - Google Patents

医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质 Download PDF

Info

Publication number
CN112329807A
CN112329807A CN202010933559.5A CN202010933559A CN112329807A CN 112329807 A CN112329807 A CN 112329807A CN 202010933559 A CN202010933559 A CN 202010933559A CN 112329807 A CN112329807 A CN 112329807A
Authority
CN
China
Prior art keywords
classification model
model unit
image
region
tumor cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010933559.5A
Other languages
English (en)
Inventor
陈培林
邢艺释
唐融融
叶亦舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai 3D Medicines Co Ltd
Original Assignee
Shanghai 3D Medicines Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai 3D Medicines Co Ltd filed Critical Shanghai 3D Medicines Co Ltd
Priority to CN202010933559.5A priority Critical patent/CN112329807A/zh
Publication of CN112329807A publication Critical patent/CN112329807A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明涉及一种医用图像诊断装置，其包括：接收单元，其配置成接收病理图像；以及判断单元，其包括第一分类模型单元和第二分类模型单元，所述第一分类模型单元和所述第二分类模型单元用于在不同的图像尺度上对所述病理图像进行区域划分，以便所述判断单元根据划分结果确定所述病理图像的病理属性。

Description

医用图像诊断装置、图像处理装置和方法、判断单元以及存储 介质
技术领域
本发明涉及利用机器学习识别图像的区域类型的领域，更具体地，涉及医用图像诊断装置、图像处理装置、图像处理方法、用于医用图像诊断的判断装置以及计算机可读存储介质。
背景技术
在肿瘤治疗领域，免疫疗法是目前最重要的治疗手段。其中，PD-L1是临床中非常重要的药物作用靶点，针对PD-L1的免疫治疗已经有多个药物在多个国家批准上市，这些药物包括帕博丽珠单抗、纳武单抗等。在临床实践中，PD-L1的表达已经作为一个免疫治疗相关药物的生物标记物而得到广泛使用。使用免疫组化染色可以评估肿瘤组织中PD-L1表达。
PD-L1的表达由具有丰富经验的病理医生进行评估。对病理医生来说，该评估过程既耗时，也具有不稳定的主观性。而且，肿瘤组织存在的异质性、PD-L1在一些非肿瘤细胞中的表达、以及病理医生之间存在的主观性等因素都有可能对准确PD-L1表达的判定造成一定的挑战。
发明内容
本发明旨在提供一种利用机器学习识别图像的区域类型的机制，该机制综合利用两类不同识别尺度的图像识别技术来进行区域划分，并进一步用于判定诸如PD-L1表达。该机制综合两者的结果进行判定，因而得到的结果将更加准确。具体而言：
根据本发明的一方面，提供一种医用图像诊断装置，其包括：接收单元，其配置成接收病理图像；以及判断单元，其包括第一分类模型单元和第二分类模型单元，所述第一分类模型单元和所述第二分类模型单元用于在不同的图像尺度上对所述病理图像进行区域划分，以便所述判断单元根据划分结果确定所述病理图像的病理属性。
根据本发明的一些实施例，可选地，所述病理图像为PD-L1免疫组化染色图像。
根据本发明的一些实施例，可选地，所述第一分类模型单元以及所述第二分类模型单元将所述病理图像划分成PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域以及背景区域。
根据本发明的一些实施例，可选地，所述第一分类模型单元基于图像小块尺度进行区域划分。
根据本发明的一些实施例，可选地，所述第一分类模型单元包括：VGG-16、VGG-19、ResNet。
根据本发明的一些实施例，可选地，若所述第一分类模型单元将图像小块判断为甲区域，则所述图像小块中的各像素都归为甲区域，所述甲区域包括：PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。
根据本发明的一些实施例，可选地，所述第二分类模型单元基于图像像素尺度进行区域划分。
根据本发明的一些实施例，可选地，所述第二分类模型单元包括：SegNet、MaskRCNN。
根据本发明的一些实施例，可选地，若所述第二分类模型单元将一个区域判断为甲区域，则该区域中的各像素都归为甲区域，所述甲区域包括：PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。
根据本发明的一些实施例，可选地，所述病理属性为PD-L1阳性表达的肿瘤细胞区域与总的肿瘤细胞区域的面积比。
根据本发明的一些实施例，可选地，总的肿瘤细胞区域包括PD-L1阳性表达的肿瘤细胞区域与PD-L1阴性表达的肿瘤细胞区域。
根据本发明的一些实施例，可选地，PD-L1阳性表达的肿瘤细胞区域包括如下区域：所述第一分类模型单元与所述第二分类模型单元同时判断为PD-L1阳性表达的肿瘤细胞区域。
根据本发明的一些实施例，可选地，PD-L1阳性表达的肿瘤细胞区域还可包括如下区域中的至少一者：所述第二分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域而所述第一分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。
根据本发明的一些实施例，可选地，PD-L1阴性表达的肿瘤细胞区域包括如下区域：所述第一分类模型单元与所述第二分类模型单元同时判断为PD-L1阴性表达的肿瘤细胞区域。
根据本发明的一些实施例，可选地，PD-L1阴性表达的肿瘤细胞区域还可包括如下区域中的至少一者：所述第二分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域而所述第一分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。
根据本发明的另一方面，提供一种图像处理装置，其包括：接收单元，其配置成接收病理图像；以及判断单元，其包括第一分类模型单元和第二分类模型单元，所述第一分类模型单元和所述第二分类模型单元用于在不同的图像尺度上对所述病理图像进行区域划分，以便所述判断单元根据划分结果确定所述病理图像的病理属性。
根据本发明的一些实施例，可选地，所述病理图像为PD-L1免疫组化染色图像。
根据本发明的一些实施例，可选地，所述第一分类模型单元以及所述第二分类模型单元将所述病理图像划分成PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域以及背景区域。
根据本发明的一些实施例，可选地，所述第一分类模型单元基于图像小块尺度进行区域划分。
根据本发明的一些实施例，可选地，所述第一分类模型单元包括：VGG-16、VGG-19、ResNet。
根据本发明的一些实施例，可选地，若所述第一分类模型单元将图像小块判断为甲区域，则所述图像小块中的各像素都归为甲区域，所述甲区域包括：PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。
根据本发明的一些实施例，可选地，所述第二分类模型单元基于图像像素尺度进行区域划分。
根据本发明的一些实施例，可选地，所述第二分类模型单元包括：SegNet、MaskRCNN。
根据本发明的一些实施例，可选地，若所述第二分类模型单元将一个区域判断为甲区域，则该区域中的各像素都归为甲区域，所述甲区域包括：PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。
根据本发明的一些实施例，可选地，所述病理属性为PD-L1阳性表达的肿瘤细胞区域与总的肿瘤细胞区域的面积比。
根据本发明的一些实施例，可选地，总的肿瘤细胞区域包括PD-L1阳性表达的肿瘤细胞区域与PD-L1阴性表达的肿瘤细胞区域。
根据本发明的一些实施例，可选地，PD-L1阳性表达的肿瘤细胞区域包括如下区域：所述第一分类模型单元与所述第二分类模型单元同时判断为PD-L1阳性表达的肿瘤细胞区域。
根据本发明的一些实施例，可选地，PD-L1阳性表达的肿瘤细胞区域还可包括如下区域中的至少一者：所述第二分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域而所述第一分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。
根据本发明的一些实施例，可选地，PD-L1阴性表达的肿瘤细胞区域包括如下区域：所述第一分类模型单元与所述第二分类模型单元同时判断为PD-L1阴性表达的肿瘤细胞区域。
根据本发明的一些实施例，可选地，PD-L1阴性表达的肿瘤细胞区域还可包括如下区域中的至少一者：所述第二分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域而所述第一分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。
根据本发明的另一方面，提供一种图像处理方法，其包括：接收病理图像；利用第一分类模型单元和第二分类模型单元在不同的图像尺度上分别对所述病理图像进行区域划分；以及根据划分结果确定所述病理图像的病理属性。
根据本发明的一些实施例，可选地，所述病理图像为PD-L1免疫组化染色图像。
根据本发明的一些实施例，可选地，该方法包括：通过所述第一分类模型单元以及所述第二分类模型单元将所述病理图像划分成PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域以及背景区域。
根据本发明的一些实施例，可选地，所述第一分类模型单元基于图像小块尺度进行区域划分。
根据本发明的一些实施例，可选地，所述第一分类模型单元包括：VGG-16、VGG-19、ResNet。
根据本发明的一些实施例，可选地，若所述第一分类模型单元将图像小块判断为甲区域，则所述图像小块中的各像素都归为甲区域，所述甲区域包括：PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。
根据本发明的一些实施例，可选地，所述第二分类模型单元基于图像像素尺度进行区域划分。
根据本发明的一些实施例，可选地，所述第二分类模型单元包括：SegNet、MaskRCNN。
根据本发明的一些实施例，可选地，若所述第二分类模型单元将一个区域判断为甲区域，则该区域中的各像素都归为甲区域，所述甲区域包括：PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。
根据本发明的一些实施例，可选地，所述病理属性为PD-L1阳性表达的肿瘤细胞区域与总的肿瘤细胞区域的面积比。
根据本发明的一些实施例，可选地，总的肿瘤细胞区域包括PD-L1阳性表达的肿瘤细胞区域与PD-L1阴性表达的肿瘤细胞区域。
根据本发明的一些实施例，可选地，PD-L1阳性表达的肿瘤细胞区域包括如下区域：所述第一分类模型单元与所述第二分类模型单元同时判断为PD-L1阳性表达的肿瘤细胞区域。
根据本发明的一些实施例，可选地，PD-L1阳性表达的肿瘤细胞区域还可包括如下区域中的至少一者：所述第二分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域而所述第一分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。
根据本发明的一些实施例，可选地，PD-L1阴性表达的肿瘤细胞区域包括如下区域：所述第一分类模型单元与所述第二分类模型单元同时判断为PD-L1阴性表达的肿瘤细胞区域。
根据本发明的一些实施例，可选地，PD-L1阴性表达的肿瘤细胞区域还可包括如下区域中的至少一者：所述第二分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域而所述第一分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。
根据本发明的另一方面，提供一种用于医用图像诊断的判断装置，其包括：根据PD-L1免疫组化染色图像样本集进行训练的第一分类模型单元，其中所述样本集按照图像小块进行标注；以及根据所述样本集进行训练的第二分类模型单元，其中所述样本集按照图像小块中的目标区域进行标注。
根据本发明的另一方面，提供一种用于医用图像诊断的模型训练方法，包括：根据PD-L1免疫组化染色图像样本集训练第一分类模型单元，其中所述样本集按照图像小块进行标注；以及根据所述样本集训练第二分类模型单元，其中所述样本集按照图像小块中的目标区域进行标注。
根据本发明的另一方面，提供一种计算机可读存储介质，其中存储有指令，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种图像处理方法。
根据本发明的另一方面，提供一种医用图像诊断装置，其包括：如上文所述的任意一种计算机可读存储介质；以及处理器，其配置成执行所述计算机可读存储介质中存储的指令。
附图说明
从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。
图1示出了根据本发明的一个实施例的医用图像诊断装置的示意图。
图2示出了根据本发明的一个实施例的图像处理装置的示意图。
图3示出了根据本发明的一个实施例的图像处理方法的示意图。
图4示出了根据本发明的一个实施例的用于医用图像诊断的判断装置的示意图。
图5示出了根据本发明的一个实施例的医用图像诊断装置的示意图。
图6示出了根据本发明的一个实施例的医用图像诊断机制的示意图。
图7示出了根据本发明的一个实施例的医用图像诊断机制的示意图。
图8示出了根据本发明的一个实施例的医用图像诊断机制的示意图。
图9示出了根据本发明的一个实施例的医用图像诊断机制的示意图。
图10示出了根据本发明的一个实施例的医用图像诊断机制的示意图。
具体实施方式
出于简洁和说明性目的，本文主要参考其示范实施例来描述本发明的原理。但是，本领域技术人员将容易地认识到相同的原理可等效地应用于所有类型的医用图像诊断装置、图像处理装置、图像处理方法、用于医用图像诊断的判断装置以及计算机可读存储介质，并且可以在其中实施这些相同或相似的原理，任何此类变化不背离本专利申请的真实精神和范围。
由于人工智能技术的发展，用人工智能技术来解决复杂的医学图像识别问题具有巨大的临床应用价值。利用机器分析病理图片具有较高的可重复性，能定量或半定量分析结果，且能减少病理医生的重复工作，辅助病理医生提高结果的准确性和可靠性。
利用人工智能技术来判定病理图片中PD-L1表达主要用到的方法分两大类：传统的机器学习方法和深度学习方法。传统的机器学习方法是根据人为设定的细胞形态等特征对病理图片进行分类。传统的机器学习方法来分析PD-L1表达情况依赖人工选择的特征进行分类，无法做到很好的自动化。
深度学习方法是利用大量的训练图片，从中学习到分类的特征，利用这些特征自动对目标进行分类，可以实现端对端的过程。但是，建立深度学习模型需要大量的图片作为训练，训练图片的不足会导致模型的准确性不足，而大量的高质量的医学图片往往很难获得。目前研究利用深度学习的方法进行PD-L1表达的分析都是采用单一的算法，准确性的提高依赖大量的训练图片。
根据本发明的一方面，提供一种医用图像诊断装置。如图1所示，医用图像诊断装置10包括接收单元102和判断单元104。其中，接收单元102被配置成接收病理图像。本发明中的病理图像是指能够反映病灶有无或者病灶特征的图像，这类图像可以是原始取得的（例如，直接通过传感器对组织成像获得），也可以是二次加工得到的（例如，对原始组织切片经过着色后再通过传感器成像获得）。这类病理图像传统上一般也可以通过专家人工诊断，但是如前文所记载的，人工评估过程既耗时，也具不稳定的主观性。而且病理特征存在的异质性、病理医生之间存在的主观性等因素都有可能对病理特征的判定造成一定的影响。
医用图像诊断装置10的判断单元104包括第一分类模型单元和第二分类模型单元，此处的分类模型可以基于神经网络等分类模型，并且第一分类模型单元和第二分类模型单元在构造上不一定相同或者相似。第一分类模型单元和第二分类模型单元用于在不同的图像尺度上对病理图像进行区域划分，因而这两种类型的模型可以从不同维度分析病理图像，每一种方法都有不同的优势，可以相互补足。判断单元104根据第一分类模型单元和第二分类模型单元的划分结果综合确定病理图像的病理属性。这里的尺度是指第一分类模型单元和第二分类模型单元进行区域划分时所依赖的分析标准，例如，若分类模型单元以像素为标准进行区域划分，则该分类模型单元是从像素尺度进行区域划分的。
根据本发明的一些实施例，病理图像为PD-L1免疫组化染色图像。本发明的一些示例中可以将待预测样品制备成PD-L1免疫组化染色的病理切片，病理切片可以扫描为诸如全视野数字切片（whole slide images, WSIs）。然后，可以将整张数字切片切割成1024×1024像素的图像，这张图像作为本发明的一些示例中的病理图像。由于第一分类模型单元和第二分类模型单元工作在不同的尺度上，因而还需要将1024×1024像素的图像加工成供第一分类模型单元和第二分类模型单元分析用的单位大小。
例如，根据本发明的一些实施例，第一分类模型单元基于图像小块尺度进行区域划分，小块大小可以为诸如256×256像素，或者128×128像素。再如，根据本发明的一些实施例，第二分类模型单元基于图像像素尺度进行区域划分，此时可以直接将1024×1024像素的图像作为第二分类模型单元的输入。
根据本发明的一些实施例，第一分类模型单元、第二分类模型单元分别将病理图像划分成PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域以及背景区域。由于第一分类模型单元、第二分类模型单元基于不同的尺度进行划分，因而两种分类模型的划分方案将不可避免地存在差异。
根据本发明的一些实施例，第一分类模型单元基于图像小块尺度进行区域划分。此时，第一分类模型单元可以为VGG-16、VGG-19或ResNet（在本发明的上下文中，还可能记载为“第一分类模型单元包括：VGG-16、VGG-19、ResNet”，这些记载都表明第一分类模型单元可以为列举的一种具体模型）。其预测结果也是以小块为单位的，如图6所示，其中示出了第一分类模型单元的预测情况，其中一些小块被预测为PD-L1阳性表达的肿瘤细胞区域，另一些小块被预测为其他类型。
根据本发明的一些实施例，若第一分类模型单元将图像小块判断为甲区域，则图像小块中的各像素都归为甲区域，甲区域包括：PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。将表达情况在像素角度阐述可以方便诸如判断单元104同时考虑第一分类模型单元、第二分类模型单元的分类结果，并在像素层级上综合考虑两种分类模型的分类情况。
如图8所示，其中示出了以小块尺度进行区域划分。当第一分类模型单元诸如将该小块判断为PD-L1阳性表达的肿瘤细胞区域（以“1”表示）时，小块中的各像素都被归为PD-L1阳性表达的肿瘤细胞区域，因而各像素都被以“1”表示，以此形成表征划分结果的矩阵。
根据本发明的一些实施例，第二分类模型单元基于图像像素尺度进行区域划分。此时，第二分类模型单元可以为SegNet或MaskRCNN（在本发明的上下文中，还可能记载为“第二分类模型单元包括：SegNet、MaskRCNN”，这些记载都表明第二分类模型单元可以为列举的一种具体模型）。其预测结果也是以区域（此处的区域是第二分类模型单元的预测单位，不一定总对应于第一分类模型单元预测为“细胞区域”中的“区域”，下同）为单位的，如图7所示，其中示出了第二分类模型单元的预测情况，其中一些区域被预测为PD-L1阳性表达的肿瘤细胞区域，另一些区域被预测为其他类型。
根据本发明的一些实施例，若第二分类模型单元将一个区域判断为甲区域，则该区域中的各像素都归为甲区域，甲区域包括：PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。如图9所示，其中示出了以像素尺度进行区域划分。当第二分类模型单元诸如将某区域判断为PD-L1阳性表达的肿瘤细胞区域（以“1”表示）时，仅该区域中的各像素都被归为PD-L1阳性表达的肿瘤细胞区域，因而该区域中的各像素都被以“1”表示，以此形成表征划分结果的矩阵。
根据本发明的一些实施例，病理属性为PD-L1阳性表达的肿瘤细胞区域与总的肿瘤细胞区域的面积比。由于本发明是以图像作为分析对象的，因而面积比也等价于像素数量之比。根据本发明的一些实施例，总的肿瘤细胞区域，是指表征肿瘤细胞特性的各种区域，例如，可以包括PD-L1阳性表达的肿瘤细胞区域与PD-L1阴性表达的肿瘤细胞区域。以阳性表达的肿瘤细胞区域与总的肿瘤细胞区域的面积比作为病理属性反映了阳性表达的肿瘤细胞区域的占比，可以评价PD-L1在肿瘤细胞中的表达情况，并以此作为诊断依据。
根据本发明的一些实施例，判断单元104根据第一分类模型单元和第二分类模型单元的划分结果综合确定病理图像的病理属性，判断单元104划分为PD-L1阳性表达的肿瘤细胞区域包括如下区域：第一分类模型单元与第二分类模型单元同时判断为PD-L1阳性表达的肿瘤细胞区域。由于该类区域被第一分类模型单元与第二分类模型单元都判为PD-L1阳性表达的肿瘤细胞区域，因而该类区域作为PD-L1阳性表达的肿瘤细胞区域的可能性较大。如图10所示，若上方左侧是表征第一分类模型单元的划分结果的矩阵，上方右侧是表征第二分类模型单元的划分结果的矩阵，且矩阵中的“1”表示像素被归为PD-L1阳性表达的肿瘤细胞区域，那么判断单元104可以通过将两个矩阵相乘来得到综合判定的分类情况，并进一步用于确定病理图像的病理属性。其他划分结果的综合判定过程也可以参考该方式进行。
根据本发明的一些实施例，若第二分类模型单元是在较低维度的尺度上进行分类的，还可以提高其权重。具体而言，判断单元104划分为PD-L1阳性表达的肿瘤细胞区域还可包括如下区域中的至少一者：第二分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域而第一分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。亦即，对于一个目标区域，只要第二分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域，判断单元104就可以据此进行取舍，而不管在较大尺度上分类的第一分类模型单元做出何种判断。例如，在一些示例中，第一类模型存在将一些PD-L1阳性表达的肿瘤细胞区域判断为PD-L1阴性表达的肿瘤细胞区域的情况。此时，我们还可以将诸如第一分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域而第二分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域纳入考虑，判断单元104可以将此类区域也记为PD-L1阳性表达的肿瘤细胞区域。
根据本发明的一些实施例，判断单元104根据第一分类模型单元和第二分类模型单元的划分结果综合确定病理图像的病理属性，判断单元104划分为PD-L1阴性表达的肿瘤细胞区域包括如下区域：第一分类模型单元与第二分类模型单元同时判断为PD-L1阴性表达的肿瘤细胞区域。由于该类区域被第一分类模型单元与第二分类模型单元都判为PD-L1阴性表达的肿瘤细胞区域，因而该类区域作为PD-L1阴性表达的肿瘤细胞区域的可能性较大。
根据本发明的一些实施例，若第二分类模型单元是在较低维度的尺度上进行分类的，还可以提高其权重。具体而言，判断单元104划分为PD-L1阴性表达的肿瘤细胞区域还可包括如下区域中的至少一者：第二分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域而第一分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。亦即，对于一个目标区域，只要第二分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域，判断单元104就可以据此进行取舍，而不管在较大尺度上分类的第一分类模型单元做出何种判断。例如，在一些示例中，第一类模型存在将一些PD-L1阴性表达的肿瘤细胞区域判断为PD-L1阳性表达的肿瘤细胞区域的情况。此时，我们还可以将诸如第一分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域而第二分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域纳入考虑，判断单元104可以将此类区域也记为PD-L1阴性表达的肿瘤细胞区域。根据本发明的另一方面，提供一种图像处理装置。如图2所示，图像处理装置20包括接收单元202和判断单元204。其中，接收单元202被配置成接收病理图像。本发明中的病理图像是指能够反映病灶有无或者病灶特征的图像，这类图像可以是原始取得的（例如，直接通过传感器对组织成像获得），也可以是二次加工得到的（例如，对原始组织切片经过着色后再通过传感器成像获得）。这类病理图像一般也可以通过专家人工诊断，但是如前文所记载的，人工评估过程既耗时，也具不稳定的主观性。而且病理特征存在的异质性、病理医生之间存在的主观性等因素都有可能对病理特征的判定造成一定的影响。
图像处理装置20的判断单元204包括第一分类模型单元和第二分类模型单元，此处的分类模型可以基于神经网络等分类模型，并且第一分类模型单元和第二分类模型单元在构造上不一定相同或者相似。第一分类模型单元和第二分类模型单元用于在不同的图像尺度上对病理图像进行区域划分，因而这两种类型的模型可以从不同维度分析病理图像，相互补足。判断单元204根据第一分类模型单元和第二分类模型单元的划分结果综合确定病理图像的病理属性。这里的尺度是指第一分类模型单元和第二分类模型单元进行区域划分时所依赖的分析标准，例如，若分类模型单元以像素为标准进行区域划分，则该分类模型单元是从像素尺度进行区域划分的。
根据本发明的一些实施例，病理图像为PD-L1免疫组化染色图像。本发明的一些示例中可以将待预测样品制备成PD-L1免疫组化染色的病理切片，病理切片可以扫描为诸如全视野数字切片。然后，可以将整张数字切片切割成1024×1024像素的图像，这张图像作为本发明的一些示例中的病理图像。由于第一分类模型单元和第二分类模型单元工作在不同的尺度上，因而还需要将1024×1024像素的图像加工成供第一分类模型单元和第二分类模型单元分析用的单位大小。
例如，根据本发明的一些实施例，第一分类模型单元基于图像小块尺度进行区域划分，小块大小可以为诸如256×256像素，或者128×128像素。再如，根据本发明的一些实施例，第二分类模型单元基于图像像素尺度进行区域划分，此时可以直接将1024×1024像素的图像作为第二分类模型单元的输入。
根据本发明的一些实施例，第一分类模型单元、第二分类模型单元分别将病理图像划分成PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域以及背景区域。由于第一分类模型单元、第二分类模型单元基于不同的尺度进行划分，因而两种分类模型的划分方案将不可避免地存在差异。
根据本发明的一些实施例，第一分类模型单元基于图像小块尺度进行区域划分。此时，第一分类模型单元可以为VGG-16、VGG-19或ResNet（在本发明的上下文中，还可能记载为“第一分类模型单元包括：VGG-16、VGG-19、ResNet”，这些记载都表明第一分类模型单元可以为列举的一种具体模型）。
根据本发明的一些实施例，若第一分类模型单元将图像小块判断为甲区域，则图像小块中的各像素都归为甲区域，甲区域包括：PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。将表达情况在像素角度阐述可以方便诸如判断单元204同时考虑第一分类模型单元、第二分类模型单元的分类结果，并在像素层级上综合考虑两种分类模型的分类情况。如图8所示，其中示出了以小块尺度进行区域划分。当第一分类模型单元诸如将该小块判断为PD-L1阳性表达的肿瘤细胞区域（以“1”表示）时，小块中的各像素都被归为PD-L1阳性表达的肿瘤细胞区域，因而各像素都被以“1”表示，以此形成表征划分结果的矩阵。
根据本发明的一些实施例，第二分类模型单元基于图像像素尺度进行区域划分。此时，第二分类模型单元可以为SegNet或MaskRCNN（在本发明的上下文中，还可能记载为“第二分类模型单元包括：SegNet、MaskRCNN”，这些记载都表明第二分类模型单元可以为列举的一种具体模型）。
根据本发明的一些实施例，若第二分类模型单元将一个区域判断为甲区域，则该区域中的各像素都归为甲区域，甲区域包括：PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。如图9所示，其中示出了以像素尺度进行区域划分。当第二分类模型单元诸如将某区域判断为PD-L1阳性表达的肿瘤细胞区域（以“1”表示）时，仅该区域中的各像素都被归为PD-L1阳性表达的肿瘤细胞区域，因而该区域中的各像素都被以“1”表示，以此形成表征划分结果的矩阵。
根据本发明的一些实施例，病理属性为PD-L1阳性表达的肿瘤细胞区域与总的肿瘤细胞区域的面积比。由于本发明是以图像作为分析对象的，因而面积比也等价于像素数量之比。根据本发明的一些实施例，总的肿瘤细胞区域，是指表征肿瘤细胞特性的各种区域，例如，可以包括PD-L1阳性表达的肿瘤细胞区域与PD-L1阴性表达的肿瘤细胞区域。以阳性表达的肿瘤细胞区域与总的肿瘤细胞区域的面积比作为病理属性反映了阳性表达的肿瘤细胞区域的占比，可以评价PD-L1在肿瘤细胞中的表达情况，并以此作为诊断依据。
根据本发明的一些实施例，判断单元204根据第一分类模型单元和第二分类模型单元的划分结果综合确定病理图像的病理属性，判断单元204划分为PD-L1阳性表达的肿瘤细胞区域包括如下区域：第一分类模型单元与第二分类模型单元同时判断为PD-L1阳性表达的肿瘤细胞区域。由于该类区域被第一分类模型单元与第二分类模型单元都判为PD-L1阳性表达的肿瘤细胞区域，因而该类区域作为PD-L1阳性表达的肿瘤细胞区域的可能性较大。如图10所示，若上方左侧是表征第一分类模型单元的划分结果的矩阵，上方右侧是表征第二分类模型单元的划分结果的矩阵，且矩阵中的“1”表示像素被归为PD-L1阳性表达的肿瘤细胞区域，那么判断单元204可以通过将两个矩阵相乘来得到综合判定的分类情况，并进一步用于确定病理图像的病理属性。其他划分结果的综合判定过程也可以参考该方式进行。
根据本发明的一些实施例，若第二分类模型单元是在较低维度的尺度上进行分类的，还可以提高其权重。具体而言，判断单元204划分为PD-L1阳性表达的肿瘤细胞区域还可包括如下区域中的至少一者：第二分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域而第一分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。亦即，对于一个目标区域，只要第二分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域，判断单元204就可以据此进行取舍，而不管在较大尺度上分类的第一分类模型单元做出何种判断。例如，在一些示例中，第一类模型存在将一些PD-L1阳性表达的肿瘤细胞区域判断为PD-L1阴性表达的肿瘤细胞区域的情况。此时，我们还可以将诸如第一分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域而第二分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域纳入考虑，判断单元204可以将此类区域也记为PD-L1阳性表达的肿瘤细胞区域。
根据本发明的一些实施例，判断单元204根据第一分类模型单元和第二分类模型单元的划分结果综合确定病理图像的病理属性，判断单元204划分为PD-L1阴性表达的肿瘤细胞区域包括如下区域：第一分类模型单元与第二分类模型单元同时判断为PD-L1阴性表达的肿瘤细胞区域。由于该类区域被第一分类模型单元与第二分类模型单元都判为PD-L1阴性表达的肿瘤细胞区域，因而该类区域作为PD-L1阴性表达的肿瘤细胞区域的可能性较大。
根据本发明的一些实施例，若第二分类模型单元是在较低维度的尺度上进行分类的，还可以提高其权重。具体而言，判断单元204划分为PD-L1阴性表达的肿瘤细胞区域还可包括如下区域中的至少一者：第二分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域而第一分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。亦即，对于一个目标区域，只要第二分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域，判断单元204就将可以据此进行取舍，而不管在较大尺度上分类的第一分类模型单元做出何种判断。例如，第一类模型存在将一些PD-L1阴性表达的肿瘤细胞区域判断为PD-L1阳性表达的肿瘤细胞区域的情况。此时，我们还可以将诸如第一分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域而第二分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域纳入考虑，判断单元204可以将此类区域也记为PD-L1阴性表达的肿瘤细胞区域。
根据本发明的另一方面，提供一种图像处理方法。如图3所示，图像处理方法30包括如下步骤：在步骤S302中接收病理图像；在步骤S304中利用第一分类模型单元和第二分类模型单元在不同的图像尺度上分别对病理图像进行区域划分；以及在步骤S306中根据划分结果确定病理图像的病理属性。
图像处理方法30在步骤S302中接收病理图像。本发明中的病理图像是指能够反映病灶有无或者病灶特征的图像，这类图像可以是原始取得的（例如，直接通过传感器对组织成像获得），也可以是二次加工得到的（例如，对原始组织切片经过着色后再通过传感器成像获得）。这类病理图像一般也可以通过专家人工诊断，但是如前文所记载的，人工评估过程既耗时，也具不稳定的主观性。而且病理特征存在的异质性、病理医生之间存在的主观性等因素都有可能对病理特征的判定造成一定的影响。
图像处理方法30在步骤S304中利用第一分类模型单元和第二分类模型单元在不同的图像尺度上分别对病理图像进行区域划分。此处的分类模型可以基于神经网络等分类模型，并且第一分类模型单元和第二分类模型单元在构造上不一定相同或者相似。第一分类模型单元和第二分类模型单元用于在不同的图像尺度上对病理图像进行区域划分，因而这两种类型的模型可以从不同维度分析病理图像，相互补足。
图像处理方法30在步骤S306中根据第一分类模型单元和第二分类模型单元的划分结果综合确定病理图像的病理属性。这里的尺度是指第一分类模型单元和第二分类模型单元进行区域划分时所依赖的分析标准，例如，若分类模型单元以像素为标准进行区域划分，则该分类模型单元是从像素尺度进行区域划分的。
根据本发明的一些实施例，病理图像为PD-L1免疫组化染色图像。本发明的一些示例中可以将待预测样品制备成PD-L1免疫组化染色的病理切片，病理切片可以扫描为诸如全视野数字切片。然后，可以将整张数字切片切割成1024×1024像素的图像，这张图像作为本发明的一些示例中的病理图像。由于第一分类模型单元和第二分类模型单元工作在不同的尺度上，因而还需要将1024×1024像素的图像加工成供第一分类模型单元和第二分类模型单元分析用的单位大小。
例如，根据本发明的一些实施例，第一分类模型单元基于图像小块尺度进行区域划分，小块大小可以为诸如256×256像素，或者128×128像素。再如，根据本发明的一些实施例，第二分类模型单元基于图像像素尺度进行区域划分，此时可以直接将1024×1024像素的图像作为第二分类模型单元的输入。
根据本发明的一些实施例，方法30包括通过第一分类模型单元、第二分类模型单元分别将病理图像划分成PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域以及背景区域。由于第一分类模型单元、第二分类模型单元基于不同的尺度进行划分，因而两种分类模型的划分方案将不可避免地存在差异。
根据本发明的一些实施例，第一分类模型单元基于图像小块尺度进行区域划分。此时，第一分类模型单元可以为VGG-16、VGG-19或ResNet（在本发明的上下文中，还可能记载为“第一分类模型单元包括：VGG-16、VGG-19、ResNet”，这些记载都表明第一分类模型单元可以为列举的一种具体模型）。
根据本发明的一些实施例，若第一分类模型单元将图像小块判断为甲区域，则图像小块中的各像素都归为甲区域，甲区域包括：PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。将表达情况在像素角度阐述可以方便诸如同时考虑第一分类模型单元、第二分类模型单元的分类结果，并在像素层级上综合考虑两种分类模型的分类情况。如图8所示，其中示出了以小块尺度进行区域划分。当第一分类模型单元诸如将该小块判断为PD-L1阳性表达的肿瘤细胞区域（以“1”表示）时，小块中的各像素都被归为PD-L1阳性表达的肿瘤细胞区域，因而各像素都被以“1”表示，以此形成表征划分结果的矩阵。
根据本发明的一些实施例，第二分类模型单元基于图像像素尺度进行区域划分。此时，第二分类模型单元可以为SegNet或MaskRCNN（在本发明的上下文中，还可能记载为“第二分类模型单元包括：SegNet、MaskRCNN”，这些记载都表明第二分类模型单元可以为列举的一种具体模型）。
根据本发明的一些实施例，若第二分类模型单元将一个区域判断为甲区域，则该区域中的各像素都归为甲区域，甲区域包括：PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。如图9所示，其中示出了以像素尺度进行区域划分。当第二分类模型单元诸如将某区域判断为PD-L1阳性表达的肿瘤细胞区域（以“1”表示）时，仅该区域中的各像素都被归为PD-L1阳性表达的肿瘤细胞区域，因而该区域中的各像素都被以“1”表示，以此形成表征划分结果的矩阵。
根据本发明的一些实施例，病理属性为PD-L1阳性表达的肿瘤细胞区域与总的肿瘤细胞区域的面积比。由于本发明是以图像作为分析对象的，因而面积比也等价于像素数量之比。根据本发明的一些实施例，总的肿瘤细胞区域，是指表征肿瘤细胞特性的各种区域，例如，可以包括PD-L1阳性表达的肿瘤细胞区域与PD-L1阴性表达的肿瘤细胞区域。以阳性表达的肿瘤细胞区域与总的肿瘤细胞区域的面积比作为病理属性反映了阳性表达的肿瘤细胞区域的占比，可以评价PD-L1在肿瘤细胞中的表达情况，并以此作为诊断依据。
根据本发明的一些实施例，方法30包括根据第一分类模型单元和第二分类模型单元的划分结果综合确定病理图像的病理属性，例如，划分为PD-L1阳性表达的肿瘤细胞区域包括如下区域：第一分类模型单元与第二分类模型单元同时判断为PD-L1阳性表达的肿瘤细胞区域。由于该类区域被一分类模型单元与第二分类模型单元都判为PD-L1阳性表达的肿瘤细胞区域，因而该类区域作为PD-L1阳性表达的肿瘤细胞区域的可能性较大。如图10所示，若上方左侧是表征第一分类模型单元的划分结果的矩阵，上方右侧是表征第二分类模型单元的划分结果的矩阵，且矩阵中的“1”表示像素被归为PD-L1阳性表达的肿瘤细胞区域，那么可以通过将两个矩阵相乘来得到综合判定的分类情况，并进一步用于确定病理图像的病理属性。其他划分结果的综合判定过程也可以参考该方式进行。
根据本发明的一些实施例，在方法30中若第二分类模型单元是在较低维度的尺度上进行分类的，还可以提高其权重。具体而言，划分为PD-L1阳性表达的肿瘤细胞区域还可包括如下区域中的至少一者：第二分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域而第一分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。亦即，对于一个目标区域，只要第二分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域，就可以据此进行取舍，而不管在较大尺度上分类的第一分类模型单元做出何种判断。例如，在一些示例中，第一类模型存在将一些PD-L1阳性表达的肿瘤细胞区域判断为PD-L1阴性表达的肿瘤细胞区域的情况。此时，我们还可以将诸如第一分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域而第二分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域纳入考虑，判断单元204可以将此类区域也记为PD-L1阳性表达的肿瘤细胞区域。
根据本发明的一些实施例，方法30包括根据第一分类模型单元和第二分类模型单元的划分结果综合确定病理图像的病理属性，例如，划分为PD-L1阴性表达的肿瘤细胞区域包括如下区域：第一分类模型单元与第二分类模型单元同时判断为PD-L1阴性表达的肿瘤细胞区域。由于该类区域被一分类模型单元与第二分类模型单元都判为PD-L1阴性表达的肿瘤细胞区域，因而该类区域作为PD-L1阴性表达的肿瘤细胞区域的可能性较大。
根据本发明的一些实施例，在方法30中若第二分类模型单元是在较低维度的尺度上进行分类的，还可以提高其权重。具体而言，划分为PD-L1阴性表达的肿瘤细胞区域还可包括如下区域中的至少一者：第二分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域而第一分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。亦即，对于一个目标区域，只要第二分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域，就可以据此进行取舍，而不管在较大尺度上分类的第一分类模型单元做出何种判断。例如，在一些示例中，第一类模型存在将一些PD-L1阴性表达的肿瘤细胞区域判断为PD-L1阳性表达的肿瘤细胞区域的情况。此时，我们还可以将诸如第一分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域而第二分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域纳入考虑，判断单元204可以将此类区域也记为PD-L1阴性表达的肿瘤细胞区域。
根据本发明的另一方面，提供一种用于医用图像诊断的判断装置。如图4所示，判断装置40包括第一分类模型单元402和第二分类模型单元404。其中，第一分类模型单元402根据PD-L1免疫组化染色图像样本集进行训练，样本集按照图像小块进行标注。第二分类模型单元404根据样本集进行训练，样本集按照图像小块中的目标区域进行标注。
在本发明的一些示例中，针对两类不同识别尺度（图像小块尺度、像素尺度），分别标注数据并建立训练模型，再利用训练好的模型预测各自的目标区域，获取目标区域信息。
（1）标注数据：
针对图像小块尺度，计算肿瘤组织中PD-L1的表达需要识别四类目标区域：PD-L1阳性表达的肿瘤细胞区域（TP）、PD-L1阴性表达的肿瘤细胞区域（TN）、PD-L1阳性表达的免疫细胞区域（IP）以及背景区域（OT）。图像小块尺度的图像分类模型，需要用到带有标注的固定大小的图像小块（比如256×256像素，或者128×128像素）作为训练集。针对像素尺度，则需要标注目标图像中的目标区域作为训练集。
若以VGG-16图像分类模型的数据标注为例，可以将整张数字切片中的目标区域标注出来：PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域以及背景区域，将整张图像切割为128×128像素的图像，根据图像小块里面的细胞类型将图像小块分类为PD-L1阳性表达的肿瘤细胞图像小块、PD-L1阴性表达的肿瘤细胞图像小块、PD-L1阳性表达的免疫细胞图像小块以及背景区域图像小块。
若以MaskRCNN图像分类模型的数据标注为例，可以将整张数字切片切割成1024×1024像素的图像。标注每张1024×1024像素的图像中的目标区域：肿瘤细胞PD-L1阳性区域、肿瘤细胞PD-L1阴性区域、免疫细胞PD-L1阳性区域，其它区域为背景。
（2）建立训练模型：
可以将标注的数据按一定的比例（例如，7:2:1）分成训练集、测试集、验证集，以此分别训练不同的模型，得到不同尺度的预测模型。
训练模型用的训练图像、验证图像和测试图像可以按不同的比例进行分配，分别训练两种模型。在一些示例中，VGG-16图像分类模型用的训练图像、验证图像和测试图像的分配比例为5:3:2。MaskRCNN图像分类模型用的训练图像和验证图像的分配比例为9:1。
经过训练的用于医用图像诊断的判断装置40可以充当本申请上下文中的判断单元。
根据本发明的另一方面，还提供一种用于医用图像诊断的模型训练方法，该方法包括如下步骤：根据PD-L1免疫组化染色图像样本集训练第一分类模型单元，其中所述样本集按照图像小块进行标注；以及根据所述样本集训练第二分类模型单元，其中所述样本集按照图像小块中的目标区域进行标注。本发明的模型训练方法可以按照上文描述的实施例中关于（1）标注数据以及（2）建立训练模型的具体内容开展，在此不再赘述。
根据本发明的另一方面，提供一种计算机可读存储介质，其中存储有指令，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种图像处理方法。本发明中所称的计算机可读介质包括各种类型的计算机存储介质，可以是通用或专用计算机能够存取的任何可用介质。举例而言，计算机可读介质可以包括RAM、ROM、EPROM、E2PROM、寄存器、硬盘、可移动盘、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码单元并能够由通用或特定用途计算机、或者通用或特定用途处理器进行存取的任何其他临时性或者非临时性介质。如本文所使用的，盘（disk）和碟（disc）包括紧致碟（CD）、激光碟、光碟、数字多用途光碟（DVD）、软盘和蓝光碟，其中盘通常磁性地复制数据，而碟则用激光来光学地复制数据。上述的组合也应当包括在计算机可读介质的保护范围之内。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
根据本发明的另一方面，提供一种医用图像诊断装置。如图5所示，医用图像诊断装置50包括如上文所述的任意一种计算机可读存储介质502和处理器504。其中，处理器504被配置成执行计算机可读存储介质中存储的指令。需要说明的是，医用图像诊断装置50还可以包括其他部件，出于清楚说明本发明的原理角度考虑，这些部件并未示出。
实验验证情况
本实施例中利用以上机制计算了3个综合模型的TPS值来衡量PD-L1在肿瘤细胞中的表达情况，TPS值为PD-L1阳性表达的肿瘤细胞区域面积除以总的肿瘤细胞所占的区域的面积。
（1）TPS1：PD-L1阳性表达的肿瘤细胞区域面积为：MaskRCNN模型与VGG16模型预测得到一致的PD-L1阳性表达的肿瘤细胞区域面积；PD-L1阴性表达的肿瘤细胞区域面积为：MaskRCNN模型与VGG16模型预测得到一致的PD-L1阴性表达的肿瘤细胞区域面积。
（2）TPS2：PD-L1阳性表达的肿瘤细胞区域面积为：MaskRCNN模型与VGG16模型预测得到一致的PD-L1阳性表达的肿瘤细胞区域面积；PD-L1阴性表达的肿瘤细胞区域面积为：MaskRCNN模型预测为PD-L1阴性表达的肿瘤细胞区域的面积。
（3）TPS3：PD-L1阳性表达的肿瘤细胞区域面积为：第一区域（VGG16模型与MaskRCNN模型预测得到一致的PD-L1阳性表达的肿瘤细胞区域）的面积，加上第二区域（VGG16模型预测为PD-L1阴性表达的肿瘤细胞区域而MaskRCNN模型预测为PD-L1阳性表达的肿瘤细胞区域）的面积，再加上第三区域（VGG16模型预测为背景区域而MaskRCNN模型预测为PD-L1阳性表达的肿瘤细胞区域）的面积；PD-L1阴性表达的肿瘤细胞区域面积为：MaskRCNN模型预测为PD-L1阴性表达的肿瘤细胞区域的面积。
Figure DEST_PATH_IMAGE002
从以上结果可以看出，本发明的机制能够实现较好的预测。在以上三种预测中，计算得到TPS2的机制能够实现更好的效果。
综上所述，本申请的机制综合两类不同识别尺度的图像识别技术的识别结果，可以给出更准确的判定，从而可以提高识别或者诊断的准确性。以上例子主要说明了本发明的医用图像诊断装置、图像处理装置、图像处理方法、用于医用图像诊断的判断装置以及计算机可读存储介质。尽管只对其中一些本发明的实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (25)

1.一种医用图像诊断装置，其特征在于，所述装置包括：
接收单元，其配置成接收病理图像；以及
判断单元，其包括第一分类模型单元和第二分类模型单元，所述第一分类模型单元和所述第二分类模型单元用于在不同的图像尺度上对所述病理图像进行区域划分，以便所述判断单元根据划分结果确定所述病理图像的病理属性。
2.根据权利要求1所述的装置，所述病理图像为PD-L1免疫组化染色图像。
3.根据权利要求2所述的装置，所述第一分类模型单元以及所述第二分类模型单元将所述病理图像划分成PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域以及背景区域。
4.根据权利要求3所述的装置，所述第一分类模型单元基于图像小块尺度进行区域划分。
5.根据权利要求4所述的装置，所述第一分类模型单元包括：VGG-16、VGG-19、ResNet。
6.根据权利要求4所述的装置，若所述第一分类模型单元将图像小块判断为甲区域，则所述图像小块中的各像素都归为甲区域，所述甲区域包括：PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。
7.根据权利要求4所述的装置，所述第二分类模型单元基于图像像素尺度进行区域划分。
8.根据权利要求7所述的装置，所述第二分类模型单元包括：SegNet、MaskRCNN。
9.根据权利要求7所述的装置，若所述第二分类模型单元将一个区域判断为甲区域，则该区域中的各像素都归为甲区域，所述甲区域包括：PD-L1阳性表达的肿瘤细胞区域、PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。
10.根据权利要求7所述的装置，所述病理属性为PD-L1阳性表达的肿瘤细胞区域与总的肿瘤细胞区域的面积比。
11.根据权利要求10所述的装置，总的肿瘤细胞区域包括PD-L1阳性表达的肿瘤细胞区域与PD-L1阴性表达的肿瘤细胞区域。
12.根据权利要求11所述的装置，PD-L1阳性表达的肿瘤细胞区域包括如下区域：所述第一分类模型单元与所述第二分类模型单元同时判断为PD-L1阳性表达的肿瘤细胞区域。
13.根据权利要求12所述的装置，PD-L1阳性表达的肿瘤细胞区域还包括如下区域中的至少一者：所述第二分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域而所述第一分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。
14.根据权利要求11所述的装置，PD-L1阴性表达的肿瘤细胞区域包括如下区域：所述第一分类模型单元与所述第二分类模型单元同时判断为PD-L1阴性表达的肿瘤细胞区域。
15.根据权利要求14所述的装置，PD-L1阴性表达的肿瘤细胞区域还包括如下区域中的至少一者：所述第二分类模型单元判断为PD-L1阴性表达的肿瘤细胞区域而所述第一分类模型单元判断为PD-L1阳性表达的肿瘤细胞区域、PD-L1阳性表达的免疫细胞区域或背景区域。
16. 一种图像处理装置，其特征在于，所述装置包括：
接收单元，其配置成接收病理图像；以及
判断单元，其包括第一分类模型单元和第二分类模型单元，所述第一分类模型单元和所述第二分类模型单元用于在不同的图像尺度上对所述病理图像进行区域划分，以便所述判断单元根据划分结果确定所述病理图像的病理属性。
17.根据权利要求16所述的装置，所述病理图像为PD-L1免疫组化染色图像。
18.根据权利要求17所述的装置，所述第一分类模型单元基于图像小块尺度进行区域划分。
19.根据权利要求18所述的装置，所述第一分类模型单元包括：VGG-16、VGG-19、ResNet。
20.根据权利要求17所述的装置，所述第二分类模型单元基于图像像素尺度进行区域划分。
21.根据权利要求18所述的装置，所述第二分类模型单元包括：SegNet、MaskRCNN。
22.一种图像处理方法，其特征在于，所述方法包括：
接收病理图像；
利用第一分类模型单元和第二分类模型单元在不同的图像尺度上分别对所述病理图像进行区域划分；以及
根据划分结果确定所述病理图像的病理属性。
23. 一种用于医用图像诊断的判断装置，其特征在于，所述装置包括：
根据PD-L1免疫组化染色图像样本集进行训练的第一分类模型单元，其中所述样本集按照图像小块进行标注；以及
根据所述样本集进行训练的第二分类模型单元，其中所述样本集按照图像小块中的目标区域进行标注。
24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令由处理器执行时，使得所述处理器执行如下方法：
接收病理图像；以及
利用第一分类模型单元和第二分类模型单元在不同的图像尺度上分别对所述病理图像进行区域划分；以及
根据划分结果确定所述病理图像的病理属性。
25. 一种医用图像诊断装置，其特征在于，所述装置包括：
如权利要求24所述的计算机可读存储介质；以及
处理器，其配置成执行所述计算机可读存储介质中存储的指令。
CN202010933559.5A 2020-09-08 2020-09-08 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质 Pending CN112329807A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010933559.5A CN112329807A (zh) 2020-09-08 2020-09-08 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010933559.5A CN112329807A (zh) 2020-09-08 2020-09-08 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质

Publications (1)

Publication Number Publication Date
CN112329807A true CN112329807A (zh) 2021-02-05

Family

ID=74303087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010933559.5A Pending CN112329807A (zh) 2020-09-08 2020-09-08 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质

Country Status (1)

Country Link
CN (1) CN112329807A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581908A (zh) * 2022-02-21 2022-06-03 广州锟元方青医疗科技有限公司 一种pd-l1免疫组化评分方法、系统、装置与存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130136325A1 (en) * 2011-11-28 2013-05-30 Nec Corporation Pathological diagnosis assisting apparatus, pathological diagnosis assisting method and non-transitory computer readable medium storing pathological diagnosis assisting program
CN103345643A (zh) * 2013-06-13 2013-10-09 南京信息工程大学 一种遥感图像分类方法
CN109598730A (zh) * 2018-12-03 2019-04-09 鄂珑江 胸片分割及处理方法、系统及电子设备
CN110097564A (zh) * 2019-04-04 2019-08-06 平安科技（深圳）有限公司 基于多模型融合的图像标注方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130136325A1 (en) * 2011-11-28 2013-05-30 Nec Corporation Pathological diagnosis assisting apparatus, pathological diagnosis assisting method and non-transitory computer readable medium storing pathological diagnosis assisting program
CN103345643A (zh) * 2013-06-13 2013-10-09 南京信息工程大学 一种遥感图像分类方法
CN109598730A (zh) * 2018-12-03 2019-04-09 鄂珑江 胸片分割及处理方法、系统及电子设备
CN110097564A (zh) * 2019-04-04 2019-08-06 平安科技（深圳）有限公司 基于多模型融合的图像标注方法、装置、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581908A (zh) * 2022-02-21 2022-06-03 广州锟元方青医疗科技有限公司 一种pd-l1免疫组化评分方法、系统、装置与存储介质
CN114581908B (zh) * 2022-02-21 2024-03-19 广州锟元方青医疗科技有限公司 一种pd-l1免疫组化评分方法、系统、装置与存储介质

Similar Documents

Publication Publication Date Title
EP3486836B1 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
US10489904B2 (en) Assessing risk of breast cancer recurrence
WO2020182710A1 (en) Multiple instance learner for prognostic tissue pattern identification
CN113574534A (zh) 使用基于距离的相似性标签的机器学习
US11748981B2 (en) Deep learning method for predicting patient response to a therapy
CN111815633A (zh) 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质
CN115295154B (zh) 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质
KR20220133918A (ko) 생물학적 샘플 내의 대상의 체계적인 특징화
CN112183557A (zh) 基于胃癌组织病理图像纹理特征的msi预测模型构建方法
CN117689985B (zh) 基于系综投票机制的子宫平滑肌肿瘤识别系统及方法
JP2019534451A (ja) １つ又は複数の組織サンプルにおける細胞組成情報を決定する装置
Shu et al. Marker controlled superpixel nuclei segmentation and automatic counting on immunohistochemistry staining images
CN112329807A (zh) 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质
CN118247548A (zh) 结直肠癌微卫星状态检测模型的训练方法
Millioni et al. Operator-and software-related post-experimental variability and source of error in 2-DE analysis
US12087454B2 (en) Systems and methods for the detection and classification of biological structures
CN112184708B (zh) 精子存活率检测方法及装置
US20240104948A1 (en) Tumor immunophenotyping based on spatial distribution analysis
US7747048B2 (en) Method of analysing separation patterns
US20210366107A1 (en) Sensitivity analysis for digital pathology
Kassim et al. VASCilia (Vision Analysis StereoCilia): A Napari Plugin for Deep Learning-Based 3D Analysis of Cochlear Hair Cell Stereocilia Bundles
CN118335300A (zh) 精子存活率检测装置
CN116959711A (zh) 一种基于深度学习的fcdⅱ型病理特征测量方法
CN116741382A (zh) 自发性脑出血复发检测模型的构建方法
Dittmar et al. Software ScreenMill: A freely available software suite for growth measurement, analysis and visualization of high-throughput screen data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination