CN112017162B - 病理图像处理方法、装置、存储介质和处理器 - Google Patents

Abstract

本发明公开了一种病理图像处理方法、装置、存储介质和处理器。其中，该方法包括：获取目标病理图像，其中，目标病理图像为在显微镜下对细胞样本拍摄得到的图像；基于深度学习神经网络模型对目标病理图像进行识别，得到目标病理图像的病理信息，其中，深度学习神经网络模型为使用多组样本数据训练得到的，多组样本数据中的每组数据均包括：病理图像样本、病理图像样本是否包含有恶性细胞的分类标签、病理图像样本有恶性细胞的轮廓信息的分割标签以及目标关系，目标关系为图像样本、分类标签和分割标签之间的对应关系；输出病理信息。本发明解决了现有技术中由于模型的训练数据难以获得，而导致对病理图像进行处理的效率低的技术问题。

Description

病理图像处理方法、装置、存储介质和处理器

技术领域

本发明涉及图像处理领域，具体而言，涉及一种病理图像处理方法、装置、存储介质和处理器。

背景技术

目前，深度学习神经网络技术应用于病理图像的分析处理中，比如，利用图像分割模型对细胞病理图像进行分割处理得到肿瘤细胞。但是，要训练得到一个良好的模型则需要用到大量的病理图像作为训练数据，并且还需要专业的病理医生对用于训练的病理图像的目标区域进行标注，也即，需要专业的病理医生在各个病理图像上勾勒出所要分割的目标区域，以此作为训练数据来训练图像分割模型，从而使得用于训练模型的训练数据难以获得，进而导致对病理图像进行处理的效率低的技术问题。

针对上述由于模型的训练数据难以获得，而导致对病理图像进行处理的效率低的技术问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种病理图像处理方法、装置、存储介质和处理器，以至少解决现有技术中由于模型的训练数据难以获得，而导致对病理图像进行处理的效率低的技术问题。

根据本发明实施例的一个方面，提供了一种病理图像处理方法。该方法包括：获取目标病理图像，其中，目标病理图像为在显微镜下对细胞样本拍摄得到的图像；基于深度学习神经网络模型对目标病理图像进行识别，得到目标病理图像的病理信息，其中，深度学习神经网络模型为使用多组样本数据训练得到的，多组样本数据中的每组数据均包括：病理图像样本、病理图像样本是否包含有恶性细胞的分类标签、病理图像样本有恶性细胞的轮廓信息的分割标签以及目标关系，目标关系为图像样本、分类标签和分割标签之间的对应关系；输出病理信息，其中，病理信息包括目标病理图像是否包含恶性细胞的信息和/或目标病理图像中恶性细胞的位置信息。

可选地，在基于深度学习网络模型对目标病理图像进行识别，得到目标病理图像的病理信息之前，该方法还包括：使用病理图像样本、第一数量的分类标签和第二数量的分割标签训练得到分类神经网络模型；使用分类神经网络模型和第二数量的分割标签训练得到分割神经网络模型；基于分割神经网络模型对分类神经网络模型的权重进行初始化，得到深度学习神经网络模型。

可选地，使用病理图像样本、第一数量的分类标签和第二数量的分割标签训练得到分类神经网络模型，包括：通过病理图像样本、第一数量的分类标签和第二数量的分割标签对原始神经网络模型进行训练，得到分类神经网络模型，其中，原始神经网络模型用于进行图像分割。

可选地，原始神经网络模型包括编码器，通过病理图像样本、第一数量的分类标签和第二数量的分割标签对原始神经网络模型进行训练，得到分类神经网络模型，包括：构建第一网络结构，其中，第一网络结构包括全局池化层和全连接层，其中，全局池化层的输出结果用于表示对应的病理图像的恶性概率，全连接层的输出结果用于表示对应的病理图像的良性概率；通过病理图像样本、第一数量的分类标签和第二数量的分割标签对编码器和第一网络结构进行训练，得到分类神经网络模型。

可选地，编码器包括：卷积层、采样层和特征层。

可选地，使用分类神经网络模型和第二数量的分割标签训练得到分割神经网络模型，包括：获取分类神经网络模型中除第一网络结构之外的网络结构的第一网络参数；构建分割神经网络模型对应的第二网络结构；基于第一网络参数对第二网络结构的权重进行初始化，并通过分类神经网络模型和第二数量的分割标签确定分割神经网络模型的网络参数；基于初始化权重后的第二网络结构和分割神经网络模型的网络参数生成分割神经网络模型。

可选地，基于分割神经网络模型对分类神经网络模型的权重进行初始化，得到深度学习神经网络模型，包括：获取分割神经网络模型的编码器的第二网络参数；基于第二网络参数对分类神经网络模型对应的第三网络结构的权重进行初始化，得到深度学习神经网络模型。

根据本发明实施例的另一方面，还提供了一种病理图像处理装置。该装置可以包括：获取单元，用于获取目标病理图像，其中，目标病理图像为在显微镜下对细胞样本拍摄得到的图像；识别单元，用于基于深度学习神经网络模型对目标病理图像进行识别，得到目标病理图像的病理信息，其中，深度学习神经网络模型为使用多组样本数据训练得到的，多组样本数据中的每组数据均包括：病理图像样本、病理图像样本是否包含有恶性细胞的分类标签、病理图像样本有恶性细胞的轮廓信息的分割标签以及目标关系，目标关系为图像样本、分类标签和分割标签之间的对应关系；输出单元，用于输出病理信息，其中，病理信息包括目标病理图像是否包含恶性细胞的信息和/或目标病理图像中恶性细胞的位置信息。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质。该计算机可读存储介质包括存储的程序，其中，在程序被处理器运行时控制计算机可读存储介质所在设备执行本发明实施例的图像处理方法。

根据本发明实施例的另一方面，还提供了一种处理器。该处理器用于运行程序，其中，程序运行时执行本发明实施例的图像处理方法。

在本发明实施例中，采用获取目标病理图像，其中，目标病理图像为在显微镜下对细胞样本拍摄得到的图像；基于深度学习神经网络模型对目标病理图像进行识别，得到目标病理图像的病理信息，其中，深度学习神经网络模型为使用多组样本数据训练得到的，多组样本数据中的每组数据均包括：病理图像样本、病理图像样本是否包含有恶性细胞的分类标签、病理图像样本有恶性细胞的轮廓信息的分割标签以及目标关系，目标关系为图像样本、分类标签和分割标签之间的对应关系；输出病理信息，其中，病理信息包括目标病理图像是否包含恶性细胞的信息和/或目标病理图像中恶性细胞的位置信息。也就是说，由于分类标签较分割标签更容易获得，该实施例基于包括分类标签和分割标签的多组样本数据训练深度神经网络模型，通过其对输入的目标病理图像进行识别，并输出得到的病理信息，避免了需要专业的病理医生对训练用的病理图像的目标区域做标注，导致训练数据难以获得，解决了由于模型的训练数据难以获得，而导致对病理图像进行处理的效率低的技术问题，达到了提高对病理图像进行处理的效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种病理图像处理方法的流程图；以及

图2是根据本发明实施例的一种病理图像处理装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种图像处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种病理图像处理方法的流程图。如图1所示，该方法包括如下步骤：

步骤S102，获取目标病理图像。

在本发明上述步骤S102提供的技术方案中，目标病理图像可以为在显微镜下对细胞样本拍摄得到的图像，需要从中识别出病理信息，其中，病理信息可以为是否包含恶性细胞的病理信息，也可以包含恶性细胞区域的轮廓信息。

步骤S104，基于深度学习神经网络模型对目标病理图像进行识别，得到目标病理图像的病理信息，其中，深度学习神经网络模型为使用多组样本数据训练得到的。

在本发明上述步骤S104提供的技术方案中，多组样本数据中的每组数据均包括：病理图像样本、病理图像样本是否包含有恶性细胞的分类标签、病理图像样本有恶性细胞的轮廓信息的分割标签以及目标关系，目标关系为图像样本、分类标签和分割标签之间的对应关系。

在该实施例中，可以预先训练深度学习神经网络模型，进而将获取到的目标病理信息输入至深度学习神经网络模型中，通过深度学习网络模型对目标病理图像进行识别，从而得到目标病理图像的病理信息。可选地，该实施例预先采集大量的多组样本数据作为用于训练深度学习神经网络模型的训练数据，该多组样本数据中的每组样本数据均可以包括病理图像样本、病理图像样本是否包含有恶性细胞的分类标签、病理图像样本有恶性细胞的轮廓信息的分割标签以及目标关系，其中，上述分类标签可以是通过图像识别出来的，也可以是人工标注出来的，上述分割标签可以是通过图像识别出来的，也可以是人工标注出来的，分类标签较分割标签更容易获得，上述目标关系可以为图像样本、分类标签和分割标签之间的对应关系。

可选地，假设有9000个分类标签和1000个分割标签，该1000个分割标签包含了恶性细胞区域的轮廓信息，因此可以确定对应的整个图像的标签也是恶性，因而，该实施例共有10000(9000+1000)个数据可以用于训练深度学习神经网络模型，而该10000个数据中既包括了分类标签，又包括了分割标签，相比于仅使用分类标签训练深度学习神经网络模型的方案，或者仅使用分割标签训练深度学习神经网络模型的方案而言，该实施例基于分类标签和分割标签共同训练得到深度学习神经网络模型，对目标病理图像进行处理的效果更好。

步骤S106，输出病理信息。

在本发明上述步骤S106提供的技术方案中，在基于深度学习神经网络模型对目标病理图像进行识别，得到目标病理图像的病理信息之后，可以输出病理信息，其中，该病理信息包括目标病理图像是否包含恶性细胞的信息和/或目标病理图像中恶性细胞的位置信息，该病理信息可以是以文本形式、语音形式、图片形式等形式展现的信息，此处不做具体限制，从而将病理信息块速向用户呈现。

通过本申请上述步骤S102至步骤S106，获取目标病理图像，其中，目标病理图像为在显微镜下对细胞样本拍摄得到的图像；基于深度学习神经网络模型对目标病理图像进行识别，得到目标病理图像的病理信息，其中，深度学习神经网络模型为使用多组样本数据训练得到的，多组样本数据中的每组数据均包括：病理图像样本、病理图像样本是否包含有恶性细胞的分类标签、病理图像样本有恶性细胞的轮廓信息的分割标签以及目标关系，目标关系为图像样本、分类标签和分割标签之间的对应关系；输出病理信息，其中，病理信息包括目标病理图像是否包含恶性细胞的信息和/或目标病理图像中恶性细胞的位置信息。也就是说，由于分类标签较分割标签更容易获得，该实施例基于包括分类标签和分割标签的多组样本数据训练深度神经网络模型，通过其对输入的目标病理图像进行识别，并输出得到的病理信息，避免了需要专业的病理医生对训练用的病理图像的目标区域做标注，导致训练数据难以获得，解决了由于模型的训练数据难以获得，而导致对病理图像进行处理的效率低的技术问题，达到了提高对病理图像进行处理的效率。

作为一种可选的实施方式，在步骤S104，基于深度学习网络模型对目标病理图像进行识别，得到目标病理图像的病理信息之前，该方法还包括：使用病理图像样本、第一数量的分类标签和第二数量的分割标签训练得到分类神经网络模型；使用分类神经网络模型和第二数量的分割标签训练得到分割神经网络模型；基于分割神经网络模型对分类神经网络模型的权重进行初始化，得到深度学习神经网络模型。

在该实施例中，在基于深度学习网络模型对目标病理图像进行识别，得到目标病理图像的病理信息之前，可以训练出深度学习神经网络模型。可选地，该实施例可以先获取第一数量的分类标签(病理图像是否包含恶性细胞)和第二数量的分割标签(标注有恶性细胞的轮廓信息)，其中，第一数量可以大于第二数量，比如，第一数量为9000，第二数量为1000。可选地，该实施例的第二数量的分割标签可以包含恶性细胞区域的轮廓信息，因此可以确定对应的整个病理图像的标签也是恶性，所以共有第一数量与第二数量的和的数据可用于训练分类神经网络模型。可选地，该实施例使用病理图像样本、第一数量的分类标签和第二数量的分割标签训练得到分类神经网络模型，该分类神经网络模型也可以称为分类模型。

在训练得到分类神经网络模型之后，可以使用分类神经网络模型和第二数量的分割标签训练得到分割神经网络模型，其中，分割神经网络模型的网络参数是由分类神经网络模型和第二数量的更细粒度的分割标签(细节更丰富)得到，该分割神经网络模型也可以称为分割模型。可选地，该实施例可以使用Unet模型和第二数量的分割标签训练分割神经网络模型，其中，Unet模型为一种用于图像分割的深度学习神经网络模型。

在使用分类神经网络模型和第二数量的分割标签训练得到分割神经网络模型之后，该实施例可以基于分割神经网络模型的网络参数对分类神经网络模型对应网络结构的权重进行初始化，分割神经网络模型的网络参数可以反过来提升分类神经网络模型，以训练得到最终的深度学习神经网络模型。

作为一种可选的实施方式，使用病理图像样本、第一数量的分类标签和第二数量的分割标签训练得到分类神经网络模型，包括：通过病理图像样本、第一数量的分类标签和第二数量的分割标签对原始神经网络模型进行训练，得到分类神经网络模型，其中，原始神经网络模型用于进行图像分割。

在该实施例中，在实现使用病理图像样本、第一数量的分类标签和第二数量的分割标签训练得到分类神经网络模型时，可以是先确定原始神经网络模型，该原始神经网络模型可以为上述Unet模型，然后通过病理图像样本、第一数量的分类标签和第二数量的分割标签对原始神经网络模型进行训练，得到分类神经网络模型，也即，使用原始神经网络模型，利用病理图像样本的第一数量的分类标签和第二数量的分割标签训练得到分类神经网络模型。

作为一种可选的实施方式，原始神经网络模型包括编码器，通过病理图像样本、第一数量的分类标签和第二数量的分割标签对原始神经网络模型进行训练，得到分类神经网络模型，包括：构建第一网络结构，其中，第一网络结构包括全局池化层和全连接层，其中，全局池化层的输出结果用于表示对应的病理图像的恶性概率，全连接层的输出结果用于表示对应的病理图像的良性概率；通过病理图像样本、第一数量的分类标签和第二数量的分割标签对编码器和第一网络结构进行训练，得到分类神经网络模型。

在该实施例中，在实现原始神经网络模型包括编码器(encoder)，该编码器为神经网络模型的特征提取部分，可以包括卷积层、采样层和特征层，可选地，该实施例的神经网络模型可以包含10个卷积层、4个下采样层，输出为28x28x1024的特征层。

可选地，该实施例创建一个额外的第一网络结构，该第一网络结构可以包括一个全局池化层，输出1x1x1024，和一个全连接层，输出1x2，其可以分别代表对应病理图像的恶性概率和良性概率，进而通过病理图像样本、第一数量的分类标签和第二数量的分割标签对编码器和第一网络结构进行训练，从而得到分类神经网络模型。

作为一种可选的实施方式，使用分类神经网络模型和第二数量的分割标签训练得到分割神经网络模型，包括：获取分类神经网络模型中除第一网络结构之外的网络结构的第一网络参数；构建分割神经网络模型对应的第二网络结构；基于第一网络参数对第二网络结构的权重进行初始化，并通过分类神经网络模型和第二数量的分割标签确定分割神经网络模型的网络参数；基于初始化权重后的第二网络结构和分割神经网络模型的网络参数生成分割神经网络模型。

在该实施例中，在实现使用分类神经网络模型和第二数量的分割标签训练得到分割神经网络模型时，可以是先获取分类神经网络模型中除额外的第一网络结构之外的网络结构的第一网络参数，该实施例还可以构建分割神经网络模型对应的第二网络结构，然后基于第一网络参数对第二网络结构的权重进行初始化，比如，将第一网络参数复制到分割神经网络模型对应的第二网络结构作为权重初始化，因为该部分在经过分类神经网络模型的训练后已经具有一定的提取图像特征的能力，这会比随机初始化更有利于分割神经网络模型的训练，相当于起点更高(本来只有第二数量的分割标签，却有着可以用第一数量与第二数量的和的数据训练得到的特征提取结构，也即，原始神经网络模型的编码器)，通过上述方法训练得到的分割神经网络模型相比于随机初始化训练得到的模型会有更好的性能。

由于该实施例的分割神经网络模型的网络参数可以通过分类神经网络模型和第二数量的分割标签确定，比如，分割神经网络模型的网络参数可以通过分类神经网络模型和1000个更细粒度的分割标签(细节更丰富)得到，进而基于初始化权重后的第二网络结构和分割神经网络模型的网络参数生成分割神经网络模型。

作为一种可选的实施方式，基于分割神经网络模型对分类神经网络模型的权重进行初始化，得到深度学习神经网络模型，包括：获取分割神经网络模型的编码器的第二网络参数；基于第二网络参数对分类神经网络模型对应的第三网络结构的权重进行初始化，得到深度学习神经网络模型。

在该实施例中，在实现基于分割神经网络模型对分类神经网络模型的权重进行初始化，得到深度学习神经网络模型时，可以是获取分割神经网络模型的编码器的第二网络参数，该第二网络参数可以为编码器的部分参数，然后基于第二网络参数对分类神经网络模型对应的第三网络结构的权重进行初始化，也即，该实施例将分割神经网络模型的部分参数用来做分类神经网络模型对应的第三网络结构的权重初始化，以得到深度学习神经网络模型。

该实施例的深度学习神经网络模型的训练方法，分割神经网络模型和最终训练得到的深度学习网络模型比仅仅使用第二数量的分割标签训练得到的分割模型和比仅仅使用第一数量的分类标签训练得到的分类模型的性能都要好，从而通过训练得到的深度学习网络模型对输入的目标病理图像进行处理，输出得到的病理信息，解决了由于模型的训练数据难以获得，而导致对病理图像进行处理的效率低的技术问题，达到了提高对病理图像进行处理的效率。

实施例2

下面结合优选的实施方式对本发明实施例的上述技术方案进行进一步举例说明。

深度学习神经网络可以应用于各类图像处理领域，比如，图像分类、图像分割等。满足实际应用需要的深度学习神经网络模型通常是基于初始的神经网络模型利用大量的具有标注信息的图像数据进行训练而得到的。

在相关技术中，已经有一些研究将深度学习神经网络技术应用于细胞病理图像的分析处理中，比如，利用图像分割模型对细胞病理图像进行分割处理得到肿瘤细胞。但是，要训练得到一个良好的深度学习图像分割模型需要用到大量的病理图像作为训练数据，并且还需要专业的病理医生对训练用的病理图像的目标区域做标注。

由上述可知，要训练得到一个良好的深度学习图像分割模型，则需要用到大量的病理图像作为训练数据，并且还需要专业的病理医生对用于训练的病理图像的目标区域进行标注，也即，即需要专业的病理医生在各个病理图像上勾勒出所要分割的目标区域，以此作为训练数据来训练深度学习图像分割模型，从而存在由于模型的训练数据难以获得，而导致对病理图像进行处理的效率低的技术问题。

基于上述问题，该实施例由于分类标签相较于分割标签更容易获得，假设有9000个分类标签(病理图像是否包含恶性细胞)和1000个分割标签(标注有恶性细胞的轮廓信息)。其中，上述1000个分割标签可以包含恶性细胞区域的轮廓信息，因此可以确定整个病理图像的标签也是恶性，因而共有10000(1000+9000)个数据可用于训练分类模型，该方法可以具体包括以下步骤：

S1，使用Unet的encoder部分，包含10个卷积层，4个下采样层，输出为28x28x1024的特征层，该实施例构建一个额外的网络结构，其可以包含一个全局池化层，输出1x1x1024，和一个全连接层，输出1x2，分别代表图像的恶性概率和良性概率，从而可以使用10000个样本训练模型得到分类模型A。其中，Unet为一种用于图像分割的深度学习神经网络模型，编码器为神经网络模型的特征提取部分。

S2，使用Unet和1000个分割标签训练分割模型B。可选地，该实施例将分类模型A去除上述加的额外的网络结构之后的网络结构的网络参数复制到分割模型B对应的网络结构作为权重初始化，因为该部分经过S1训练分类模型之后已经具有一定的提取图像特征的能力，会比随机初始化更有利于分割模型B的训练，相当于起点更高(原来只有1000个数据，却有着可以使用10000个数据训练得到的特征提取结构，也即，S1的Unet encoder)，训练得到分割模型B，该分割模型B相比于通过随机初始化而训练得到的模型会有更好的性能。

S3，将分割模型B的Unet encode部分的参数可以用来做分类模型A对应网络结构的权重初始化，这相比于第一步的训练过程，分割模型B的参数可以由分类模型A+1000个更细粒度的分割标签(细节更丰富)得到，因此这些参数可以反过来提升分类模型A，以训练得到模型C。

该实施例通过上述训练方法，分割模型B和模型C比仅仅使用1000个分割标签训练得到的分割模型和比仅仅使用10000个分类标签训练得到的分类模型的性能都要好，从而通过训练得到的深度学习网络模型对输入的目标病理图像进行处理，输出得到的病理信息，解决了由于模型的训练数据难以获得，而导致对病理图像进行处理的效率低的技术问题，达到了提高对病理图像进行处理的效率。

实施例3

本发明实施例还提供了一种图像处理装置。需要说明的是，该实施例的病理图像处理装置可以用于执行本发明实施例的病理图像处理方法。

图2是根据本发明实施例的一种病理图像处理装置的示意图。如图2所示，该病理图像处理装置20可以包括：获取单元21、识别单元22和输出单元23。

获取单元21，用于获取目标病理图像，其中，目标病理图像为在显微镜下对细胞样本拍摄得到的图像。

识别单元22，用于基于深度学习神经网络模型对目标病理图像进行识别，得到目标病理图像的病理信息，其中，深度学习神经网络模型为使用多组样本数据训练得到的，多组样本数据中的每组数据均包括：病理图像样本、病理图像样本是否包含有恶性细胞的分类标签、病理图像样本有恶性细胞的轮廓信息的分割标签以及目标关系，目标关系为图像样本、分类标签和分割标签之间的对应关系。

输出单元23，用于输出病理信息，其中，病理信息包括目标病理图像是否包含恶性细胞的信息和/或目标病理图像中恶性细胞的位置信息。

可选地，该装置可以包括：第一训练单元，用于在基于深度学习网络模型对目标病理图像进行识别，得到目标病理图像的病理信息之前，使用病理图像样本、第一数量的分类标签和第二数量的分割标签训练得到分类神经网络模型；第二训练单元，用于使用分类神经网络模型和第二数量的分割标签训练得到分割神经网络模型；初始化单元，用于基于分割神经网络模型对分类神经网络模型的权重进行初始化，得到深度学习神经网络模型。

可选地，第一训练单元包括：训练模块，用于通过病理图像样本、第一数量的分类标签和第二数量的分割标签对原始神经网络模型进行训练，得到分类神经网络模型，其中，原始神经网络模型用于进行图像分割。

可选地，原始神经网络模型包括编码器，训练模块包括：构建子模块，用于构建第一网络结构，其中，第一网络结构包括全局池化层和全连接层，其中，全局池化层的输出结果用于表示对应的病理图像的恶性概率，全连接层的输出结果用于表示对应的病理图像的良性概率；训练子模块，用于通过病理图像样本、第一数量的分类标签和第二数量的分割标签对编码器和第一网络结构进行训练，得到分类神经网络模型。

可选地，该实施例的编码器包括：卷积层、采样层和特征层。

可选地，第二训练单元包括：第一获取模块，用于获取分类神经网络模型中除第一网络结构之外的网络结构的第一网络参数；构建模块，用于构建分割神经网络模型对应的第二网络结构；第一初始化模块，用于基于第一网络参数对第二网络结构的权重进行初始化，得到分割神经网络模型。

可选地，初始化单元包括：第二获取模块，用于获取分割神经网络模型的编码器的第二网络参数；第二初始化模块，用于基于第二网络参数对分类神经网络模型对应的第三网络结构的权重进行初始化，并通过分类神经网络模型和第二数量的分割标签确定分割神经网络模型的网络参数；生成模块，用于基于初始化权重后的第二网络结构和分割神经网络模型的网络参数生成深度学习神经网络模型。

在该实施例中，通过获取单元21获取目标病理图像，其中，目标病理图像为在显微镜下对细胞样本拍摄得到的图像，通过识别单元22基于深度学习神经网络模型对目标病理图像进行识别，得到目标病理图像的病理信息，其中，深度学习神经网络模型为使用多组样本数据训练得到的，多组样本数据中的每组数据均包括：病理图像样本、病理图像样本是否包含有恶性细胞的分类标签、病理图像样本有恶性细胞的轮廓信息的分割标签以及目标关系，目标关系为图像样本、分类标签和分割标签之间的对应关系，通过输出单元23输出病理信息，其中，病理信息包括目标病理图像是否包含恶性细胞的信息和/或目标病理图像中恶性细胞的位置信息。也就是说，由于分类标签较分割标签更容易获得，该实施例基于包括分类标签和分割标签的多组样本数据训练深度神经网络模型，通过其对输入的目标病理图像进行识别，并输出得到的病理信息，避免了需要专业的病理医生对训练用的病理图像的目标区域做标注，导致训练数据难以获得，解决了由于模型的训练数据难以获得，而导致对病理图像进行处理的效率低的技术问题，达到了提高对病理图像进行处理的效率。

实施例4

根据本发明实施例，还提供了一种计算机可读存储介质，其特征在于，计算机可读存储介质包括存储的程序，其中，在程序被处理器运行时控制计算机可读存储介质所在设备执行本发明实施例的病理图像处理方法。

实施例5

根据本发明实施例，还提供了一种处理器，该处理器用于运行程序，其中，所述程序运行时执行实施例1中所述的病理图像处理方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模型的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种病理图像处理方法，其特征在于，包括：

获取目标病理图像，其中，所述目标病理图像为在显微镜下对细胞样本拍摄得到的图像；

基于深度学习神经网络模型对所述目标病理图像进行识别，得到所述目标病理图像的病理信息，其中，所述深度学习神经网络模型为使用多组样本数据训练得到的，所述多组样本数据中的每组数据均包括：病理图像样本、所述病理图像样本是否包含有恶性细胞的分类标签、所述病理图像样本有所述恶性细胞的轮廓信息的分割标签以及目标关系，所述目标关系为所述图像样本、所述分类标签和所述分割标签之间的对应关系；

输出所述病理信息，其中，所述病理信息包括所述目标病理图像是否包含恶性细胞的信息和/或所述目标病理图像中所述恶性细胞的位置信息；

其中，在基于深度学习网络模型对所述目标病理图像进行识别，得到所述目标病理图像的病理信息之前，所述方法还包括：使用所述病理图像样本、第一数量的所述分类标签和第二数量的所述分割标签训练得到分类神经网络模型；使用所述分类神经网络模型和所述第二数量的所述分割标签训练得到分割神经网络模型；基于所述分割神经网络模型对所述分类神经网络模型的权重进行初始化，得到所述深度学习神经网络模型。

2.根据权利要求1所述的方法，其特征在于，使用所述病理图像样本、第一数量的所述分类标签和第二数量的所述分割标签训练得到分类神经网络模型，包括：

通过所述病理图像样本、所述第一数量的分类标签和所述第二数量的所述分割标签对原始神经网络模型进行训练，得到所述分类神经网络模型，其中，所述原始神经网络模型用于进行图像分割。

3.根据权利要求2所述的方法，其特征在于，所述原始神经网络模型包括编码器，通过所述病理图像样本、所述第一数量的分类标签和所述第二数量的所述分割标签对原始神经网络模型进行训练，得到所述分类神经网络模型，包括：

构建第一网络结构，其中，所述第一网络结构包括全局池化层和全连接层，所述全局池化层的输出结果用于表示对应的病理图像的恶性概率，所述全连接层的输出结果用于表示对应的病理图像的良性概率；

通过所述病理图像样本、所述第一数量的分类标签和所述第二数量的所述分割标签对所述编码器和所述第一网络结构进行训练，得到所述分类神经网络模型。

4.根据权利要求3所述的方法，其特征在于，所述编码器包括：卷积层、采样层和特征层。

5.根据权利要求4所述的方法，其特征在于，使用所述分类神经网络模型和所述第二数量的所述分割标签训练得到分割神经网络模型，包括：

获取所述分类神经网络模型中除所述第一网络结构之外的网络结构的第一网络参数；

构建所述分割神经网络模型对应的第二网络结构；

基于所述第一网络参数对所述第二网络结构的权重进行初始化，并通过所述分类神经网络模型和所述第二数量的所述分割标签确定所述分割神经网络模型的网络参数；

基于初始化权重后的所述第二网络结构和所述分割神经网络模型的网络参数生成所述分割神经网络模型。

6.根据权利要求1所述的方法，其特征在于，基于所述分割神经网络模型对所述分类神经网络模型的权重进行初始化，得到所述深度学习神经网络模型，包括：

获取所述分割神经网络模型的编码器的第二网络参数；

基于所述第二网络参数对所述分类神经网络模型对应的第三网络结构的权重进行初始化，得到所述深度学习神经网络模型。

7.一种病理图像处理装置，其特征在于，包括：

获取单元，用于获取目标病理图像，其中，所述目标病理图像为在显微镜下对细胞样本拍摄得到的图像；

识别单元，用于基于深度学习神经网络模型对所述目标病理图像进行识别，得到所述目标病理图像的病理信息，其中，所述深度学习神经网络模型为使用多组样本数据训练得到的，所述多组样本数据中的每组数据均包括：病理图像样本、所述病理图像样本是否包含有恶性细胞的分类标签、所述病理图像样本有所述恶性细胞的轮廓信息的分割标签以及目标关系，所述目标关系为所述图像样本、所述分类标签和所述分割标签之间的对应关系；

输出单元，用于输出所述病理信息，其中，所述病理信息包括所述目标病理图像是否包含恶性细胞的信息和/或所述目标病理图像中所述恶性细胞的位置信息；

其中，所述识别单元在基于深度学习网络模型对所述目标病理图像进行识别，得到所述目标病理图像信息之前，还用于通过以下步骤得到所述深度学习神经网络模型：使用所述病理图像样本、第一数量的所述分类标签和第二数量的所述分割标签训练得到分类神经网络模型；使用所述分类神经网络模型和所述第二数量的所述分割标签训练得到分割神经网络模型；基于所述分割神经网络模型对所述分类神经网络模型的权重进行初始化，得到所述深度学习神经网络模型。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序被处理器运行时控制所述计算机可读存储介质所在设备执行权利要求1至6中任意一项所述的方法。

9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的方法。

Images