CN110060246A - 一种图像处理方法、设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、设备及存储介质，其中方法包括：对病理图像进行分割得到一个或者多个前景图像，并确定该一个或者多个前景图像中的每个前景图像的来源；确定该一个或者多个前景图像中的每个前景图像的病灶类型；根据相同来源的前景图像在各病灶类型下的分布情况，确定病理图像的病灶类型。本申请从病理图像中将组织块的切片图像即前景图像从背景中分割出来，并确定前景图像的病灶类型以及所属的组织块，然后根据属于相同组织块的前景图像在各个病灶类型下的分布情况来确定病理图像的病灶类型。

Description

一种图像处理方法、设备及存储介质

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法、设备及存储介质。

背景技术

病理图像为包含了人体部分组织的切面的图像，是临床中诊断肿瘤组织和细胞的金标准和重要依据之一。传统的病理图像诊断方法为医生人工读片以判断病理图像中包含的组织的病灶类型。但这种方法不仅费时费力，而且由于太依赖于医生的临床经验，于是时常会有诊断错误的情况发生。

对此可以采用计算机辅助诊断方法来实现自动化读片，即利用机器来对病理图像进行图像处理，判断出病理图像中包含的组织的病灶类型，该方法可以帮助医生快速确定病理图像的病灶类型，以最大程度解放病理医生的人力。

但目前的计算机辅助诊断方法主要用于处理包含较大组织切片的大尺寸病理图像，而在用于处理包含小型组织块切片的小尺寸病理图像的时候并不能取得比较好的结果，于是还缺少一种更准确和更精细化的图像处理方法。

发明内容

本申请实施例提供一种图像处理方法，可以对病理图像进行精细化的处理，以更准确的识别出病理图像的病灶类型，该方法不仅适用于处理大尺寸病理图像，还适用于处理小尺寸病理图像，尤其在应用于处理小尺寸病理图像时，相比于其他图像处理方法，能够取得更好的处理效果。

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：

对病理图像进行分割得到一个或多个前景图像，并确定所述一个或多个前景图像中的每个前景图像的来源；

确定所述一个或多个前景图像中的每个前景图像的病灶类型；

根据相同来源的前景图像在各病灶类型下的分布情况，确定所述病理图像的病灶类型。

可见，本申请通过将病理图像中的所有前景图像都提取出来并对前景图像中的病灶区域进行精确分割，使得后续能够对前景图像甚至是前景所属的组织块的良恶性进行准确分析，并且本申请还根据所有前景图像的良恶性结果来综合判断整张病理图像的良恶性，以达到提高病理图像的病灶检测精准度的效果。于是本申请的图像处理方法能够对病理图像进行精细化的处理。

结合第一方面，在第一方面的第一种实现方式中，所述对病理图像进行分割得到一个或多个前景图像之后，还包括：

确定所述一个或多个前景图像中的每个前景图像的图像质量；

根据所述一个或多个前景图像中的每个前景图像的图像质量，确定所述病理图像的图像质量；

响应于所述病理图像的图像质量大于预设值的情况，执行所述确定所述一个或多个前景图像中的每个前景图像的病灶类型的步骤。

可见，本申请只有在病理图像的图像质量大于预设值的情况下，才执行后续用于病理图像的病灶类型进行判断的一系列步骤，于是本申请通过对病理图像的图像质量进行评估，以排除对焦失败、水渍、染剂杂质等对该病理图像的病灶类型判断的影响。

结合第一方面的第一种实现方式，在第一方面的第二种实现方式中，所述根据所述一个或多个前景图像中的每个前景图像的图像质量，确定所述病理图像的图像质量之后，还包括：

响应于所述病理图像的图像质量小于所述预设值的情况，提示重新制片指示，且不执行所述确定所述一个或多个前景图像中的每个前景图像的病灶类型的步骤，所述重新制片指示用于指示所述病理图像不合格。

可见，本申请在病理图像的图像质量小于预设值的情况下，不执行后续用于病理图像的病灶类型进行判断的一系列步骤，并提示重新制片提示，以告知管理人员该病理图像的图像质量过低，需要重新制备。于是本申请减少了对低质量的病理图像作无用功的图像处理的情况，从而节约了计算资源，提高图像处理的准确度和效率。

结合第一方面至第一方面的第二实现方式，在第一方面的第三种实现方式中，所述确定所述一个或多个前景图像中的每个前景图像的病灶类型，包括：

确定所述一个或多个前景图像中的每个前景图像的病灶区域；

根据所述一个或多个前景图像中的每个前景图像的病灶区域，分别确定所述一个或多个前景图像中的每个前景图像的病灶类型。

可见，本申请对每个前景图像都进行了病灶区域分割，从而得到较精确的病灶边缘，尤其是在应用于活检穿刺等产生的小尺寸病理图像的时候，有很好的处理效果。而且本申请对每个前景图像都进行了病灶类型判断，而分析每个前景块的病灶类型有助于判断组织块的病灶类型以及整个病理图像的病灶类型，如果直接根据多个前景图像的病灶区域来判断组织块或者病理图像的病灶类型，可能会出现小面积的假阳会令良性组织块被判断为恶性，以及小面积的漏检可能会令恶性组织块被判断为良性等情况的发生。

结合第一方面至第一方面的第三种实现，在第一方面的第四种实现方式中，所述对病理图像进行分割得到一个或多个前景图像，并确定所述一个或多个前景图像中的每个前景图像的来源，包括：

采用最大类间方差法调整所述病理图像中的前景部分和背景部分的像素值，以区分开所述病理图像中的前景部分和背景部分；

采用主成分分析法提取出调整后的病理图像中的前景部分所包含的一个或多个前景图像，并确定所述一个或多个前景图像中的每个前景图像的来源。

可见，本申请提取出了病理图像中的前景图像，并确定了前景图像所属的组织块，从而可以对病理图像中的组织块和/或前景图像作为目标单独进行分析，而不是将整张病理图像作为整体直接进行处理，尤其是在处理小尺寸的病理图像时，直接对整张病理图像进行处理往往会损失很多的细节信息，从而影响对病理图像的病灶类型的准确判断。此外，还需要注意的是，原本本申请只采用主成分分析法也可以分割出病理图像中的前景图像，并确定前景图像所属的组织块，而本申请采用主成分分析法对病理图像进行分析之前，采用最大间差法来对病理图像进行预处理，以突出前景部分与背景部分之间的差别，使得后续采用主成分分析法对调整之后的病理图像进行处理时，处理结果更加准确。

结合第一方面的第一种实现方式，在第一方面的第五种实现方式中，所述确定所述一个或多个前景图像中的每个前景图像的图像质量，包括：

采用高斯算法确定所述一个或多个前景图像的每个前景图像的第一模糊值，所述第一模糊值用于指示所述前景图像的模糊度；

采用深度学习分类网络确定所述一个或多个前景图像的每个前景图像的第二模糊值，所述第二模糊值用于指示所述前景图像的模糊度；

根据所述第一模糊值和所述第二模糊值确定所述一个或多个前景图像的每个前景图像的第三模糊值，所述第三模糊值用于指示所述前景图像的模糊度。

可见，本申请提出了一种结合高斯算法和深度学习分类网络的图像质量评估方法，且经过实际测试，该种方法相比使用其他图像质量评估方法，或者只使用高斯算法和深度学习分类网络中一种图像质量检测方法来说，能够对图像的图像质量进行更准确的评估。

结合第一方面的第三种实现方式，在第一方面的第六种实现方式中，所述确定所述一个或多个前景图像中的每个前景图像的病灶区域，包括：

将所述一个或多个前景图像中的每个前景图像拆分为多个子图；

分割得到所述一个或多个前景图像的每个前景图像的每个子图的病灶区域；

根据所述每个前景图像的所有子图的病灶区域，确定所述每个前景图像的病灶区域。

可见，相对于对整个病理图像或者对每个前景图像进行病灶区域检测，本申请通过将前景图像分为多个子图并对每个子图进行病灶区域分割，能得到更加准确的前景图像的病灶边界边缘，且当本方法应用于活检穿刺等产生的小尺寸病理图像的时候，能有很好的处理效果。

结合第一方面第三种实现方式，在第一方面的第七种实现方式中，所述根据所述一个或多个前景图像中的每个前景图像的病灶区域，分别确定所述一个或多个前景图像中的每个前景图像的病灶类型，包括：

采用深度学习分类网络对所述一个或多个前景图像中的每个前景图像的病灶区域进行处理，得到所述一个或多个前景图像中的每个前景图像的病灶类型。

可见，本申请通过采用深度学习分类网络来对每个前景图像都进行病灶类型判断，来提高病灶分类的准确度，从而进一步提高后续步骤中对组织块的病灶类型以及整个病理图像的病灶类型的判断准确度。

结合第一方面至第一方面的第七种实现方式，在第一方面的第八种实现方式中，所述根据相同来源的前景图像在各病灶类型下的分布情况，确定所述病理图像的病灶类型，包括：

统计相同来源的前景图像在各病灶类型下的分布情况；

根据所述相同来源的前景图像在各病灶类型下的分布情况，确定各来源分别对应的各组织块的病灶类型；

根据所述各组织块的病灶类型，确定所述病理图像的病灶类型。

可见，在病理图像上存着多个前景图像，甚至病理图像中存在着来自于不同的组织块的前景图像的情况下，本申请可以根据病理图像上的多个前景图像来综合判断病理图像的病灶类型，从而避免了小的错误引起的错误放大，且能更准确的判断整张病理图像的病灶类型。

第二方面，本申请实施例提供了一种图像处理设备，该图像处理设备包括用于执行上述第一方面的图像处理方法的单元，该图像处理设备包括：

提取单元，用于对病理图像进行分割得到一个或多个前景图像，并确定所述一个或多个前景图像中的每个前景图像的来源；

确定单元，用于确定所述一个或多个前景图像中的每个前景图像的病灶类型；

分析单元，用于根据相同来源的前景图像在各病灶类型下的分布情况，确定所述病理图像的病灶类型。

结合第二方面，在第二方面的第一种实现方式中，所述设备还包括：

质检单元，用于确定所述一个或多个前景图像中的每个前景图像的图像质量；所述质检单元，还用于根据所述一个或多个前景图像中的每个前景图像的图像质量，确定所述病理图像的图像质量；

所述确定单元，具体用于响应于所述病理图像的图像质量大于预设值的情况，确定所述一个或多个前景图像中的每个前景图像的病灶类型。

结合第二方面的第一种实现方式，在第二方面的第二种实现方式中，所述设备还包括：

提示单元，用于响应于所述病理图像的图像质量小于预设值的情况，提示重新制片指示，所述重新制片指示用于指示所述病理图像不合格。

结合第二方面至第二方面的第二实现方式，在第二方面的第三种实现方式中，所述确定单元具体用于：

确定所述一个或多个前景图像中的每个前景图像的病灶区域；

根据所述一个或多个前景图像中的每个前景图像的病灶区域，分别确定所述一个或多个前景图像中的每个前景图像的病灶类型。

结合第二方面至第二方面的第三种实现，在第二方面的第四种实现方式中，所述提取单元具体用于：

采用最大类间方差法调整所述病理图像中的前景部分和背景部分的像素值，以区分开所述病理图像中的前景部分和背景部分；

采用主成分分析法提取出调整后的病理图像中的前景部分所包含的一个或多个前景图像，并确定所述一个或多个前景图像中的每个前景图像的来源。

结合第二方面的第一种实现方式，在第二方面的第五种实现方式中，所述质检单元具体用于：

采用高斯算法确定所述一个或多个前景图像的每个前景图像的第一模糊值，所述第一模糊值用于指示所述前景图像的模糊度；

采用深度学习分类网络确定所述一个或多个前景图像的每个前景图像的第二模糊值，所述第二模糊值用于指示所述前景图像的模糊度；

根据所述第一模糊值和所述第二模糊值确定所述一个或多个前景图像的每个前景图像的第三模糊值，所述第三模糊值用于指示所述前景图像的模糊度。

结合第二方面的第三种实现方式，在第二方面的第六种实现方式中，所述确定单元具体用于：

将所述一个或多个前景图像中的每个前景图像拆分为多个子图；

分割得到所述一个或多个前景图像的每个前景图像的每个子图的病灶区域；

根据所述每个前景图像的所有子图的病灶区域，确定所述每个前景图像的病灶区域。

结合第二方面第三种实现方式，在第二方面的第七种实现方式中，所述确定单元具体用于：

采用深度学习分类网络对所述一个或多个前景图像中的每个前景图像的病灶区域进行处理，得到所述一个或多个前景图像中的每个前景图像的病灶类型。

结合第二方面至第二方面的第七种实现方式，在第二方面的第八种实现方式中，所述分析单元具体用于：

统计相同来源的前景图像在各病灶类型下的分布情况；

根据所述相同来源的前景图像在各病灶类型下的分布情况，确定各来源分别对应的各组织块的病灶类型；

根据所述各组织块的病灶类型，确定所述病理图像的病灶类型。

第三方面，本申请实施例提供了一种图像处理设备，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，用以执行如第一方面所述的方法

第四方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行，用以执行如第一方面所述的方法。

本申请首先将病理图像中包含的一个或多个前景图像分割出来，并对该一个或多个前景图像进行识别，以确定该一个或多个前景图像中的每个前景图像的来源，需要注意的是，来源用于指示前景图像所属的组织块，来源相同的前景图像来源于同一组织块，由于前景图像实际为组织块的切面图像，于是组织块与前景图像存在一对多的关系，一个前景图像来源于一个组织块，多个前景图像可能都来源于同个组织块。在分割出病理图像所包含的一个或多个前景图像，并确定了每个前景图像的病灶类型之后，确定每个前景图像的病灶类型，并根据相同来源的前景图像在各个病灶类型下的分布情况，确定病理图像的病灶类型。可见，本申请通过对病理图像的病灶区域进行精细化分割以及分析，从而实现了对病理图像的精细化处理，能更准确的识别出病理图像的病灶类型，尤其是在处理小尺寸的病理图像时，相比于其他图像处理方法会取得更好的结果，这是因为小尺寸病理图像可能在小尺寸范围内包含了多个小组织块的切片图像，如果不经过精细化的图像处理，极有可能出现病灶类型判别错误的情况。总的来说，本申请提供了一种高精准度和精细化的图像处理方法，可以更准确的识别病理图像的病灶类型。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1是本申请实施例提供的一种图像处理过程示意图；

图2是本申请实施例提供的一种图像处理方法的示意流程图；

图3是本申请另一实施例提供的一种图像处理方法的示意流程图；

图4是本申请实施例提供的一种图像处理设备的示意性框图；

图5是本申请实施例提供的一种图像处理设备的结构性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请主要应用于图像处理设备，该图像处理设备可以是传统图像处理设备、计算机辅助诊断设备、远程诊断设备、活检病理大规模筛查辅助诊断设备或者本申请第三实施例和第四实施例所描述的图像处理设备，本申请对此不做限制。当图像处理设备与其他设备进行数据交互的时候，图像处理设备和其他设备都按照预设格式进行对数据的特性进行记录并传送，并能对接收到的预设格式的数据进行相应的处理和解析等，其中，数据的特性包括时间、地点、类型等。

传统的病理图像诊断方法为医生人工读片以判断病理图像中包含的组织的病灶类型，但这种方法不仅费时费力，而且判断的准确度也因人而异。对此可以采用计算机辅助诊断方法来实现自动化读片，但目前的计算机辅助诊断方法尤其是在处理包含小型组织块切片的小尺寸病理图像时并不能取得比较好的结果，于是还缺少一种更准确和更精细化的图像处理方法。

为此解决上述问题，本申请实施例提供一种图像处理方法，可以对病理图像进行精细化的处理，以更准确的识别出病理图像的病灶类型，该方法不仅适用于处理大尺寸病理图像，还适用于处理小尺寸病理图像，尤其在应用于处理小尺寸病理图像时，相比于其他图像处理方法，能够取得更好的处理效果。

需要说明的是，上述大尺寸病理图像例如有手术切除得到的大组织块的切片图像，而上述小尺寸病理图像例如有活检穿刺得到的小组织块的切片图像，活检穿刺例如有乳腺穿刺、结节穿刺、前列腺穿刺和胃镜肠镜活检等，由于活检穿刺的时候获取的是人体某个组织的极小部分的组织物，因此在活检的时候可能会取多次的组织物，并集中在一起制作得到一张病理图像，因此病理图像中可能包含多个组织块(例如肿瘤等组织结节)的切面图像即前景图像，需要注意的是，组织块与前景图像存在一对多的关系，一个前景图像来源于一个组织块，多个前景图像可能都来源于同个组织块。

为了能够更好地理解本发明实施例，下面将结合图1，对应用本发明实施例的方法进行介绍，本发明实施例可以应用于活检穿刺产生的病理图像进行图像处理，以确定该病理图像的病灶类型的场景中。

请参见图1，图像处理设备首先将病理图像中包含的多个前景图像分割出来，并确定每个前景图像所属的组织块，然后确定每个前景图像的病灶区域，并根据每个前景图像的病灶区域，确定每个前景图像的病灶类型，最后根据属于同组织块的前景图像在各病灶类型下的分布情况，来确定上述病理图像的病灶类型。为了便于理解，接下来本申请将对上述过程进行具体说明。

如图1中所示的01病理图像为原始未经过处理的病理图像，病理图像中包含了组织块的切面图像，由于组织块的切面图像才是病灶分析中关注的部分，于是将切面图像作为待保留的前景图像，而其他部分则为待剔除的背景图像。在步骤101中，分割出01病理图像中包含的所有前景图像，并确定每个前景图像的来源标签，得到10个形同于03病理图像所示的前景图像，具体的，该10个前景有5个属于组织块A的前景图像，来源标签都为1，还有5个属于B组织块的前景图像，来源标签都为2。具体的，为实现步骤101，可以采用最大类间方差法调整01病理图像中的前景部分和背景部分的像素值，以区分开病理图像中的前景部分和背景部分，调整之后的病理图像变为如02病理图像所示的只包含两种像素值的二值图像，前景部分和背景部分的像素值各自用一种像素值表示，前景部分为黑色，背景部分为白色，然后在采用最大类间方差法调整了病理图像之后，采用主成分分析法确定调整后的病理图像中的前景部分所包含的10个前景图像的位置，并确定每个前景图像的来源，得到02病理图像，该虚线框出部分为前景图像，每个前景图像分别被打上来源标签，最后根据该02病理图像，从01病理图像中分割出10个形如03前景图像所示的前景图像。

上述分割前景图像的步骤可以理解为一种粗化的分割，是为了剔除大部分的背景图像，以减少后续的数据处理量，以及减弱背景图像对前景图像的干扰，于是上述分割是按照一定形状规格进行分割的，如03前景图像所示是一种分割出来的前景图像，该前景图像中还是会有少量背景，该少量背景中包含有前景部分与背景部分之间丰富的边界信息，于是本申请在步骤102中基于上一步骤分割得到的前景图像进行病灶区域检测，以确定前景图像中的病灶区域，病灶区域指的是组织块中出现异常的区域，可见本申请先通过剔除大量的背景图像以减少干扰，然后再在提取出来的小尺度的前景图像的基础上来进行病灶区域检测，从而能更加准确的确定病灶区域的边界，以准确的分割出前景图像的病灶区域。以03前景图像为例对上述步骤102进行说明，将03前景图像拆分为多个子图，然后利用深度学习全卷积分割网络对每个子图进行分割，以得到每个子图的病灶区域，最后在确定前景图像的所有子图的病灶区域之后，将所有子图按照拆分为子图时的逻辑顺序重新组合在一起，从而可以确定得到如05前景图像所示的病灶区域，利用相同方法流程确定其他各个前景图像的病灶区域。

确定每个前景图像的病灶区域之后，在步骤103中采用深度学习分类网络对前景图像的病灶类型进行预测，如06前景图像在经过深度学习分类网络的处理之后，确定为恶性，从而得到如07前景图像所示的被标记上恶性的标签的前景图像。

确定每个前景图像的病灶类型之后，根据相同来源的前景图像在各个病灶类型下的分布情况，确定病理图像的病灶类型，一般来说，病理图像的病灶类型趋同于前景图像的病灶类型，如果病理图像中的大部分前景图像都为恶性，那么该病理图像极大可能为恶性，如果病理图像中的大部分前景图像都良性，那么该病理图像极有可能为良性，于是本申请根据同来源的前景图像在不同病灶类型下的分布情况，来确定病理图像的病灶类型。需要注意的是，之所以将前景图像以来源加以区分，是因为相较于来源于不同组织块的前景图像，来源于相同组织块的前景图像之间更具有关联性。具体的，至少有两种实施方式来实现步骤104，在第一种实施方式中，先根据相同来源的前景图像在各病灶类型下的数量分布，确定病理图像包含的各个组织块的病灶类型，然后将其中一个组织块的病灶类型作为病理图像的病灶类型，如08和09所示分别为组织块A和组织块B的前景图像集合，组织块A的前景图像集合中有1个良性的前景图像和4个恶性的前景图像，组织块B的前景图像集合中有3个良性的前景图像和2个恶性图像，预先规定组织块的病灶类型与前景图像集合中数量占比最多的病灶类型一致，则组织块A为恶性，组织块B为良性，若存在组织块为恶性，则10病理图像也为恶性；在第二种实施方式中，先根据相同来源的前景图像在各病灶类型下的数量分布，确定病理图像包含的各个组织块的病灶类型，然后根据所有组织块的病灶类型来确定病理图像的病灶类型，如08和09所示，将病理图像的恶性的概率为A组织块的恶性概率与B组织块的恶性概率的加权求和，A组织块和B组织块对应的权重分别取决于A组织块包含的前景图像的数量，和B组织块包含的前景图像的数量，包含的前景图像的数量越多，对应的权重就越大。需要注意的是，在病理图像包含的各个组织块所包含的前景图像的数量极其不均的情况下，采用第二种实施方式会比较好的处理效果，例如A组织块包含9张良性的前景图像，B组织包含1张恶性的前景图像，如果采用第一种实施方式，则病理图像会被认定为是恶性，而采用第二种实施方式则不会被判定为恶性，因为组织B的前景图像太少，不足以预测组织B为恶性，更不足以预测病理图像为恶性。

经过以上描述，可以看出本申请的图像处理方法能够对病理图像进行精细化的处理，因为本申请通过将病理图像中的所有前景图像都提取出来并对前景图像中的病灶区域进行精确分割，使得后续能够对前景图像甚至是前景所属的组织块的良恶性进行准确分析，并且本申请还根据所有前景图像的良恶性结果来综合判断整张病理图像的良恶性，以达到提高病理图像的病灶检测精准度的效果。接下来将从以下几个方面简述本申请的方法能够对病理图像进行精细化处理的原因，但需要注意的是，以下描述的几个方面并不能代表全部原因。

第一方面，本申请提取出了病理图像中的前景图像，并确定了前景图像所属的组织块，从而可以对病理图像中的组织块和/或前景图像作为目标单独进行分析，而不是将整张病理图像作为整体直接进行处理，尤其是在处理小尺寸的病理图像时，直接对整张病理图像进行处理往往会损失很多的细节信息，从而影响对病理图像的病灶类型的准确判断。

第二方面，本申请对每个前景图像都进行了病灶区域分割，从而得到较精确的病灶边缘，尤其是在应用于活检穿刺等产生的小尺寸病理图像的时候，有很好的处理效果。

第三方面，本申请对每个前景图像都进行了病灶类型判断，而分析每个前景块的病灶类型有助于判断组织块的病灶类型以及整个病理图像的病灶类型。如果直接根据多个前景图像的病灶区域来判断组织块或者病理图像的病灶类型，可能会出现小面积的假阳会令良性组织块被判断为恶性，以及小面积的漏检可能会令恶性组织块被判断为良性等情况的发生。

第四方面，本申请可以根据病理图像上的多个前景图像来综合判断病理图像的病灶类型，从而避免了小的错误引起的错误放大，能够更准确的判断整张病理图像的病灶类型，即使病理图像中存在着来自于不同的组织块的前景图像，例如活检穿刺产生的病理图像中往往包含了多个小尺寸的组织块。

根据以上描述可以看出，本申请通过对病理图像进行精细化的处理，可以对病理图像的病灶区域、每个前景图像的病灶类型等信息进行了充分的分析和利用，从而较准确的判断出病理图像的病灶类型。且本申请的方法尤其是在应用于小尺寸的病理图像的处理的时候，可以取得比其他图像处理方法更好的结果。经过实际测试，利用本申请的方法可以高效的实现病理图像的自动诊断，和以往同类算法相比，诊断精度及诊断效率都提升了至少5倍以上。

总的来说，本申请通过对病理图像的病灶区域进行精细化分割以及分析，从而实现了对病理图像的精细化处理，能更准确的识别出病理图像的病灶类型，不管是大尺寸病理图像还是小尺寸病理图像的时候都可以快速得到很精细化的病灶边界以及准确的病灶结果，从而为医生的临床决策提供支持，并大幅度缩减了人工读片过程中所消耗的人力和物力成本，尤其是在处理小尺寸病理图像时，相比于其他图像处理方法会取得更好的结果，这是因为小尺寸病理图像可能在小小的尺寸中包含了多个小组织块的切片图像，如果不经过精细化的图像处理，极有可能出现病灶类型识别错误的情况。总的来说，本申请提供了一种高精准度和精细化的图像处理方法，可以更准确的识别病理图像的病灶类型。

需要说明的是，图1中所示内容为一种举例，并不构成对本发明实施例的限定。因为在本申请中，病理图像中包含的前景图像的数量以及组织块的数量可以是任意数值。

参见图2，是本申请实施例提供一种图像处理方法的示意流程图，如图2所示图像处理方法可包括：

201：对病理图像进行分割得到一个或多个前景图像，并确定该一个或多个前景图像中的每个前景图像的来源。

在本发明实施例中，先对获取到的病理图像进行图像分割，以分割出该病理图像中包含的一个或多个前景图像，然后分析该一个或多个前景图像的每个前景图像所属的组织块，以确定前景图像的来源，并根据前景图像所属的组织块为前景图像打上来源标签，其中，来源标签用于指示前景图像所属的组织块，病理图像为人体部分组织的切面成像，可以通过对手术获得的大组织块或者活检穿刺获得的小组织块进行切片制作得到，病理图像可能包含多个组织块，以及多个前景图像，前景图像即组织块的切面图像，组织块与前景图像存在一对多的关系，一个前景图像来源于一个组织块，多个前景图像可能来源于同个组织块。

举例来说，经过上述步骤处理后的病理图像如图1中的02病理图像所示，虚线框出的部分即为前景图像，在该病理图像中共有10个前景图像，该10个前景图像中来源标签为1的5个前景图像属于一个组织块，来源标签为2的5个前景块属于一个组织块。

具体的，上述对病理图像进行分割得到一个或多个前景图像，并确定上述一个或多个前景图像中的每个前景图像的来源指的是，先采用最大类间方差法调整病理图像中的前景部分和背景部分的像素值，使得病理图像变成像素值只有两种的二值图像，前景部分为一种像素值，背景图像为另一种像素值，然后采用主成分分析法确定调整后的病理图像中的前景部分所包含的一个或多个前景图像的位置信息，及该一个或多个前景图像中的每个前景图像的来源，最后根据该一个或多个前景图像中的每个前景图像的位置信息，从调整前的病理图像中分割出一个或多个前景图像，并根据每个前进图像的来源来为每个前景图像打上来源标签，以指示前景图像所属的组织块。其中，最大类间差法OTSU是一种对图像进行二值化的算法，通过算法自动选择阈值，实现灰度值的二分化并产生差异最大的两个灰度值，以此突出要识别的物体。主成分分析法(PCA，Principal Component Analysis)用于降低前景图像的特征空间的维度，并消除原有特征之间的相关度，以减少数据信息的冗余，从而提取出前景图像的位置信息，以及确定前景图像的来源类别。

举例来说，如图1所示，采用最大类间方差法调整01病理图像中的前景部分和背景部分的像素值之后，得到如02病理图像所示的只包含两种像素值的二值图像，前景部分为黑色，背景部分为白色，在采用主成分分析法对调整像素值后的病理图像处理之后，如02病理图像所示，虚线框出部分为前景图像，每个前景图像分别被打上来源，最后根据前景图像在调整了像素值的02病理图像上的位置，从01病理图像中分割出03前景图像。

可见，原本只采用主成分分析法也可以分割出病理图像中的前景图像，并确定前景图像所属的组织块，而本申请采用主成分分析法对病理图像进行分析之前，采用最大间差法来对病理图像进行预处理，以突出前景部分与背景部分之间的差别，使得后续采用主成分分析法对调整之后的病理图像进行处理时，处理结果更加准确。

可选的，采用基于阈值、基于神经网络或水平集等图像分割技术来分割出病理图像中包含的前景图像，采用基于神经网络、基于小波矩或基于分形特征等图像识别技术来确定前景图像所属的组织块。同样的，在采用其他图像分割技术和图像识别技术替代上述主成分分析法之前，也可以采用最大间差法来对病理图像进行预处理，以区别开病理图像中的前景部分和背景部分。

可选的，在步骤201之前，对病理图像进行降采样，以缩小病理图像的尺寸，然后对降采样之后的病理图像执行上述步骤201，从得到前景图像的来源以及在降采样之后的病理图像上的位置，然后根据降采样之后的病理图像与原始的病理图像(即降采样之前的病理图像)之间的尺寸变换关系，确定前景图像在原始的病理图像上的位置，并在原始的病理图像上标记出前景图像的来源。由于步骤201可以理解为一种较粗糙的分割，主要是为了确定前景块的位置信息以及来源，最终分割出来的前景图像仍然包含部分背景，因此并不需要确定前景图像的精确边界，也不需要待处理的前景图像为高分辨率，于是在降采样之后的前景图像执行步骤201会获得更快的处理速度，同时也不会影响处理结果的准确性。

202：确定上述一个或多个前景图像中的每个前景图像的病灶类型。

在本申请实施例中，上述确定一个或多个前景图像中的每个前景图像的病灶类型指的是，确定上述一个或多个前景图像中的每个前景图像的病灶区域；根据上述一个或多个前景图像中的每个前景图像的病灶区域，分别确定上述一个或多个前景图像中的每个前景图像的病灶类型。其中，病灶类型包括良性和恶性等，良性指的是组织出现炎症等，恶性指的是组织有肿瘤倾向等。

需要说明的是，上述确定前景图像的病灶区域所采用的技术可以是基于阈值、基于神经网络或者水平集等图像分割技术中的任意一种，上述根据前景图像的病灶区域确定前景图像的病灶类型所采用的技术可以是基于小波矩或基于分形特征等图像识别技术中的任意一种，本申请实施例对此不作限定。

在一种实施中，上述确定上述一个或多个前景图像中的每个前景图像的病灶区域指的是，先将一个或多个前景图像中的每个前景图像拆分为多个子图，然后分割得到一个或多个前景图像的每个前景图像的每个子图的病灶区域，最后根据每个前景图像的所有子图的病灶区域，确定每个前景图像的病灶区域。

在本申请实施例中，上述分割得到的前景图像还是会有少量背景，该少量背景中包含有前景部分与背景部分之间丰富的边界信息，于是本步骤中对上一步骤分割得到的前景图像进行病灶区域检测，以确定前景图像中的病灶区域。具体的，获取一个病理图像，并将该病理图像拆分为多个子图，然后分别对该多个子图进行病灶区域检测，然后根据该多个子图的病灶区域的检测结果，确定拆分之前的病理图像的病灶区域，同理，按照该方法流程对其他前景图像进行处理，最终确定出每个前景图像的病灶区域。其中，病灶区域指的是组织块中出现异常的区域。

举例来说，如图1所示，将03前景图像拆分为多个子图，然后利用深度学习全卷积分割网络对每个子图进行分割，以得到每个子图的病灶区域，最后在确定前景图像的所有子图的病灶区域之后，对将所有子图按照拆分为子图时的逻辑顺序重新组合在一起，并可以确定得到如05前景图像所示的病灶区域，利用相同方法流程确定其他各个前景图像的病灶区域。

在一种实施中，上述根据上述一个或多个前景图像中的每个前景图像的病灶区域，分别确定上述一个或多个前景图像中的每个前景图像的病灶类型指的是，采用深度学习分类网络对上述一个或多个前景图像中的每个前景图像的病灶区域进行处理，得到上述一个或多个前景图像中的每个前景图像的病灶类型。

在本申请实施例中，采用深度学习分类网络对前景图像的病灶区域进行分析，从而分析得到每个前景图像的病灶类型。其中，深度学习分类网络是以及基于深度学习的分类方法，该深度学习分类网络是利用病灶区域已被标注好病灶类型的图像而训练得到的。

举例来说，如06前景图像在经过深度学习分类网络的处理之后，确定为恶性，于是如07前景图像所示，该前景图像被标记上恶性的标签。

203：根据相同来源的前景图像在各病灶类型下的分布情况，确定病理图像的病灶类型。

具体的，上述根据相同来源的前景图像在各病灶类型下的分布情况，确定病理图像的病灶类型指的是，先统计相同来源的前景图像在各病灶类型下的分布情况，然后根据相同来源的前景图像在各病灶类型下的分布情况，确定各来源分别对应的各组织块的病灶类型，最后根据各组织块的病灶类型确定病理图像的病灶类型。

在本申请实施例中，确定每个前景图像的病灶类型之后，根据相同来源的前景图像在各个病灶类型下的分布情况，确定病理图像的病灶类型，一般来说，病理图像的病灶类型趋同于前景图像的病灶类型，如果病理图像中的大部分前景图像都为恶性，那么该病理图像极大可能为恶性，如果病理图像中的大部分前景图像都良性，那么该病理图像极有可能为良性，于是本申请根据同来源的前景图像在不同病灶类型下的分布情况，来确定病理图像的病灶类型。需要注意的是，之所以将前景图像以来源加以区分，是因为相较于来源于不同组织块的前景图像，来源于相同组织块的前景图像之间更具有关联性。

更具体的，至少有两种实施方式来实现步骤104，在第一种实施方式中，先根据相同来源的前景图像在各病灶类型下的数量分布，确定病理图像包含的各个组织块的病灶类型，然后将其中一个组织块的病灶类型作为病理图像的病灶类型。

举例来说，如图1所示，08和09分别为组织块A和组织块B的前景图像集合，组织块A的前景图像集合中有1个良性的前景图像和4个恶性的前景图像，组织块B的前景图像集合中有3个良性的前景图像和2个恶性图像，而组织块的病灶类型与前景图像集合中数量占比最多的病灶类型一致，则组织块A为恶性，组织块B为良性，若存在组织块为恶性，则10病理图像也为恶性。

第二种实施方式中，先根据相同来源的前景图像在各病灶类型下的数量分布，确定病理图像包含的各个组织块的病灶类型，然后根据所有组织块的病灶类型来确定病理图像的病灶类型。

举例来说，如08和09所示，病理图像的恶性的概率为A组织块的恶性概率与B组织块的恶性概率的加权求和，A组织块和B组织块对应的权重，分别取决于A组织块包含的前景图像的数量，和B组织块包含的前景图像的数量，所包含的前景图像的数量越多，对应的权重就越大。需要注意的是，在病理图像包含的各个组织块所包含的前景图像的数量极其不均的情况下，采用第二种实施方式会比较好的处理效果，例如A组织块包含9张良性的前景图像，B组织包含1张恶性的前景图像，如果采用第一种实施方式，则病理图像会被认定为是恶性，而采用第二种实施方式则不会被判定为恶性，因为B组的前景图像太少，不足以预测B为恶性，更不足以预测病理图像为恶性。

在一种实施方式中，上述对病理图像进行分割得到一个或多个前景图像之后，对病理图像中的每个前景图像和病理图像进行质量检测。具体的，先确定病理图像中的每个前景图像的图像质量，然后根据病理图像中的所有前景图像的图像质量，确定病理图像的图像质量，最后响应于病理图像的图像质量小于预设值的情况，提示重新制片指示，该重新制片指示用于指示病理图像不合格。其中，图像质量用以一个数值表示，用于指示图像质量是否符合算法标注，即图像是否清晰、是否有其他污渍和/或是否有其他因素影响等。

在本申请实施例中，先对病理图像中的每张前景图像分别进行质量评价，然后根据病理图像中的所有前景图像的图像质量评价结果，来综合对病理图像进行质量评价。

具体的，以任意前景图像为目标前景图像为例，来对上述对前景图像进行质量评价进行说明，先采用高斯算法确定目标前景图像的模糊值，然后再采用深度学习分类网络确定目标前景图像的模糊概率，最后根据该模糊值和模糊概率确定目标前景图像的图像质量，目标前景图像的模糊值和图像质量都用于指示目标前景图像的模糊度，而目标前景图像的模糊概率用于指示目标前景图像为模糊图像的概率。其中，目标前景图像的模糊概率越大，目标前景图像为模糊图像的可能性越大，而目标前景图像的模糊值越小，目标前景图像的模糊度越大，于是目标图像的图像质量n、模糊值x和模糊概率y之间存在函数关系n＝mx(1-y)，系数m可以是1也可以是预设的任意大小的常数值，本申请实施例对此不作限定。

需要说明的是，高斯算法是一种用于评价图像模糊程度的算法，其中心思想在于，利用拉普拉斯算子与输入的图像做卷积，并计算卷积结果的方差(即标准差的平方)，该方差的大小反映了图像的模糊度，该方差越小，说明图像越模糊。深度学习分类网络是一种基于深度学习的分类网络，也用于对前景图像的扫糊程度进行评估，得到模糊概率为范围为0-1的小数，该小数表示了前景图像为模糊的概率，0指的是清晰的，1指的是模糊的。

具体的，上述根据病理图像中的所有前景图像的图像质量评价结果，来综合对病理图像进行质量评价可以是，计算该所有前景图像的图像质量的平均值或者是加权平均值，来作为病理图像的图像质量。

可见，本申请通过对病理图像的图像质量进行评估，以排除对焦失败、水渍、染剂杂质等对该病理图像的病灶类型判断的影响，即当病理图像的图像质量小于预设值时，便不执行后续用于病理图像的病灶类型进行判断的一系列步骤，并提示重新制片提示，以告知管理人员该病理图像的图像质量过低，需要重新制备。

可选的，响应于病理图像的图像质量小于预设值的情况，按照图像质量由小到大的顺序，逐个删除前景图像，直到病理图像的图像质量大于预设值时，停止删除操作，并在后续操作中根据未删除的前景图像来判断病理图像的病灶类型。

举例来说，病理图像有10个前景图像，按照图像质量由小到大的顺序，该10个前景图像依次为第一前景图像、第二前景图像......第十前景图像，根据该10个前景图像计算得到病理图像的图像质量A1小于预设值A，于是删除第一前景图像，根据第二前景图像、第三前景图像......第十前景图像计算得到病理图像的图像质量A2小于预设值A，于是接着删除第二前景图像......直到删除到第四个图像的时候，计算得到病理图像的图像质量A5才第一次大于预设值A，于是停止删除，并在后续的处理中根据第五前景图像至第十前景图像来判断病理图像的病灶类型。

可见，本申请首先将病理图像中包含的一个或多个前景图像分割出来，并对该一个或多个前景图像进行识别，以确定该一个或多个前景图像中的每个前景图像的来源，并根据每个前景图像的来源来给前景图像打上来源标签，需要注意的是，来源相同的前景图像来源于同一组织块，由于前景图像实际为组织块的切面图像，来源标签用于指示前景图像所属的组织块，于是组织块与前景图像存在一对多的关系，一个前景图像来源于一个组织块，多个前景图像可能都来源于同个组织块。在分割出病理图像所包含的一个或多个前景图像，并确定了每个前景图像的病灶类型之后，确定每个前景图像的病灶类型，并根据相同来源的前景图像在各个病灶类型下的分布情况，确定病理图像的病灶类型。可见，本申请通过对病理图像的病灶区域进行精细化分割以及分析，从而实现了对病理图像的精细化处理，能更准确的识别出病理图像的病灶类型，尤其是在处理小尺寸的病理图像时，相比于其他图像处理方法会取得更好的结果，这是因为小尺寸病理图像可能在小小的尺寸中包含了多个小组织块的切片图像，如果不经过精细化的图像处理，极有可能出现病灶类型识别错误的情况。总的来说，本申请提供了一种高精准度和精细化的图像处理方法，可以更准确的识别病理图像的病灶类型。

参见图3，是本申请实施例提供另一种图像处理方法的示意流程图，如图3所示图像处理方法可包括：

301：对病理图像进行分割得到一个或多个前景图像，并确定该一个或多个前景图像中的每个前景图像的来源。

302：确定上述一个或多个前景图像中的每个前景图像的图像质量。

在本申请实施例中，以任意前景图像作为目标前景图像，并以该目标前景图像为例进行说明，先采用高斯算法确定目标前景图像的模糊值，然后再采用深度学习分类网络确定目标前景图像的模糊概率，最后根据该模糊值和模糊概率确定目标前景图像的图像质量，目标前景图像的模糊值和图像质量都用于指示目标前景图像的模糊度，而目标前景图像的模糊概率用于指示目标前景图像为模糊图像的概率。其中，目标前景图像的模糊概率越大，目标前景图像为模糊图像的可能性越大，而目标前景图像的模糊值越小，目标前景图像的模糊度越大，于是目标图像的图像质量n、模糊值x和模糊概率y之间存在函数关系n＝mx(1-y)，系数m可以是1也可以是预设的任意大小的常数值，本申请实施例对此不作限定。

需要说明的是，高斯算法是一种用于评价图像模糊程度的算法，其中心思想在于，利用拉普拉斯算子与输入的图像做卷积，并计算卷积结果的方差(即标准差的平方)，该方差的大小反映了图像的模糊度，该方差越小，说明图像越模糊。深度学习分类网络是一种基于深度学习的分类网络，也用于对前景图像的扫糊程度进行评估，得到模糊概率为范围为0-1的小数，该小数表示了前景图像为模糊的概率，0指的是清晰的，1指的是模糊的。

303：根据上述一个或多个前景图像中的每个前景图像的图像质量，确定上述病理图像的图像质量。

在本申请实施例中，根据病理图像中的所有前景图像的图像质量评价结果，来综合对病理图像进行质量评价，即计算该所有前景图像的图像质量的平均值或者是加权平均值，来作为病理图像的图像质量。

可选的，响应于病理图像的图像质量小于预设值的情况，按照图像质量由小到大的顺序，逐个删除前景图像，直到病理图像的图像质量大于预设值时，停止删除操作，并在后续操作中根据未删除的前景图像来判断病理图像的病灶类型。

举例来说，病理图像有10个前景图像，按照图像质量由小到大的顺序，该10个前景图像依次为第一前景图像、第二前景图像......第十前景图像，根据该10个前景图像计算得到病理图像的图像质量A1小于预设值A，于是删除第一前景图像，根据第二前景图像、第三前景图像......第十前景图像计算得到病理图像的图像质量A2小于预设值A，于是接着删除第二前景图像......直到删除到第四个图像的时候，计算得到病理图像的图像质量A5才第一次大于预设值A，于是停止删除，并在后续的处理中根据第五前景图像至第十前景图像来判断病理图像的病灶类型。

304：响应于上述病理图像的图像质量小于预设值的情况，提示重新制片指示。

本申请实施例中，响应于上述病理图像的图像质量小于预设值的情况，提示重新制片指示，该重新制片指示用于指示病理图像不合格。

可见，本申请通过对病理图像的图像质量进行评估，以排除对焦失败、水渍、染剂杂质等对该病理图像的病灶类型判断的影响，即当病理图像的图像质量小于预设值时，便不执行后续用于病理图像的病灶类型进行判断的一系列步骤，并提示重新制片提示，以告知管理人员该病理图像的图像质量过低，需要重新制备。

305：响应于上述病理图像的图像质量大于预设值的情况，确定上述一个或多个前景图像中的每个前景图像的病灶区域。

在本申请实施例中，如果上述病理图像的图像质量大于预设值，则说明病理图像是清晰地，于是可以接着执行后续的步骤，即确定上述一个或多个前景图像中的每个前景图像的病灶区域。

306：根据上述一个或多个前景图像中的每个前景图像的病灶区域，分别确定该一个或多个前景图像中的每个前景图像的病灶类型。

在本申请实施例中，上述确定一个或多个前景图像中的每个前景图像的病灶类型，指的是，确定上述一个或多个前景图像中的每个前景图像的病灶区域；根据上述一个或多个前景图像中的每个前景图像的病灶区域，分别确定上述一个或多个前景图像中的每个前景图像的病灶类型。其中，其中，病灶类型包括良性和恶性等，良性指的是组织出现炎症等，恶性指的是组织有肿瘤倾向。

需要说明的是，上述确定前景图像的病灶区域所采用的技术可以是基于阈值、基于神经网络或者水平集等图像分割技术中的任意一种，上述根据前景图像的病灶区域确定前景图像的病灶类型所采用的技术可以是基于小波矩或基于分形特征等图像识别技术中的任意一种，本申请实施例对此不作限定。

在一种实施中，上述确定上述一个或多个前景图像中的每个前景图像的病灶区域指的是，先将一个或多个前景图像中的每个前景图像拆分为多个子图，然后分割得到一个或多个前景图像的每个前景图像的每个子图的病灶区域，最后根据每个前景图像的所有子图的病灶区域，确定每个前景图像的病灶区域。

在本申请实施例中，上述分割得到的前景图像还是会有少量背景，该少量背景中包含有前景部分与背景部分之间丰富的边界信息，于是本步骤中对上一步骤分割得到的前景图像进行病灶区域检测，以确定前景图像中的病灶区域。具体的，获取一个病理图像，并将该病理图像拆分为多个子图，然后分别对该多个子图进行病灶区域检测，然后根据该多个子图的病灶区域的检测结果，确定拆分之前的病理图像的病灶区域，同理，按照该方法流程对其他前景图像进行处理，最终确定出每个前景图像的病灶区域。其中，病灶区域指的是组织块中出现异常的区域。

举例来说，如图1所示，将03前景图像拆分为多个子图，然后利用深度学习全卷积分割网络对每个子图进行分割，以得到每个子图的病灶区域，最后在确定前景图像的所有子图的病灶区域之后，对将所有子图按照拆分为子图时的逻辑顺序重新组合在一起，并可以确定得到如05前景图像所示的病灶区域，利用相同方法流程确定其他各个前景图像的病灶区域。

在一种实施中，上述根据上述一个或多个前景图像中的每个前景图像的病灶区域，分别确定上述一个或多个前景图像中的每个前景图像的病灶类型指的是，采用深度学习分类网络对上述一个或多个前景图像中的每个前景图像的病灶区域进行处理，得到上述一个或多个前景图像中的每个前景图像的病灶类型。

在本申请实施例中，采用深度学习分类网络对前景图像的病灶区域进行分析，从而分析得到每个前景图像的病灶类型。其中，深度学习分类网络是以及基于深度学习的分类方法，该深度学习分类网络是利用病灶区域已被标注好病灶类型的图像而训练得到的。

举例来说，如06前景图像在经过深度学习分类网络的处理之后，确定为恶性，于是如07前景图像所示，该前景图像被标记上恶性的标签。

307：根据相同来源的前景图像在各病灶类型下的分布情况，确定病理图像的病灶类型。

本申请实施例在上一申请实施例的基础上，更加详细的描述了本图像处理方法的实现流程，尤其是对前景图像和病理图像的图像质量检测，以及确定每个前景图像的病灶类型的过程进行了详细的说明。除了上一申请实施例所提到的有益效果以外，本申请由于对前景图像和病理图像的图像质量检测，并在病理图像的图像质量小于预设值的时候，提示重新制片指示，以提示管理人员该病理图像质量不合格，需要制备新的病理图像，于是本申请可以解决病理图像中前景图像质量不统一的问题，尤其是通过活检穿刺得到的病理图像，因为活检穿刺是以筛查为主要目的，相对于手术切除的大组织切片来说，其制作病理图像的工艺相对粗糙，取材医生也从普通外科、肿瘤科到消化科等其他科室不等，其病理图像的图像质量难以保证，而过多的图像质量问题会很大程度影响该切片的良恶性判断，会造成大量的假阳和漏检。而本申请中对病理图像的质检可以使得本申请的方法能应对更加复杂的情况，更加满足实际临床需要，总的来说，本申请实施例进一步的调高了图像处理的效率和准确度。

需要说明的是，上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

本申请实施例还提供一种图像处理设备，该图像处理设备包含用于执行前述任一项的图像处理方法的单元。具体地，参见图4，是本申请实施例提供的一种图像处理设备的示意框图。本实施例的图像处理设备包括：提取单元410、确定单元420以及分析单元430。具体的：

提取单元410，用于对病理图像进行分割得到一个或多个前景图像，并确定上述一个或多个前景图像中的每个前景图像的来源；

确定单元420，用于确定上述一个或多个前景图像中的每个前景图像的病灶类型；

分析单元430，用于根据相同来源的前景图像在各病灶类型下的分布情况，确定上述病理图像的病灶类型。

在一种实施中，上述设备还包括质检单元440，用于确定上述一个或多个前景图像中的每个前景图像的图像质量；上述质检单元440，还用于根据上述一个或多个前景图像中的每个前景图像的图像质量，确定上述病理图像的图像质量；所述确定单元420，具体用于响应于所述病理图像的图像质量大于预设值的情况，确定所述一个或多个前景图像中的每个前景图像的病灶类型。

在一种实施中，上述图像处理设备还包括提示单元450，用于响应于上述病理图像的图像质量小于预设值的情况，提示重新制片指示，上述重新制片指示用于指示上述病理图像不合格。

在一种实施中，上述确定单元420具体用于，确定上述一个或多个前景图像中的每个前景图像的病灶区域；根据上述一个或多个前景图像中的每个前景图像的病灶区域，分别确定上述一个或多个前景图像中的每个前景图像的病灶类型。

在一种实施中，上述提取单元410具体用于，采用最大类间方差法调整上述病理图像中的前景部分和背景部分的像素值，以区分开上述病理图像中的前景部分和背景部分；采用主成分分析法提取出调整后的病理图像中的前景部分所包含的一个或多个前景图像，并确定上述一个或多个前景图像中的每个前景图像的来源。

在一种实施中，上述质检单元440具体用于，采用高斯算法确定上述一个或多个前景图像的每个前景图像的第一模糊值，上述第一模糊值用于指示上述前景图像的模糊度；采用深度学习分类网络确定上述一个或多个前景图像的每个前景图像的第二模糊值，上述第二模糊值用于指示上述前景图像的模糊度；根据上述第一模糊值和上述第二模糊值确定上述一个或多个前景图像的每个前景图像的第三模糊值，上述第三模糊值用于指示上述前景图像的模糊度。

在一种实施中，上述确定单元420具体用于，将上述一个或多个前景图像中的每个前景图像拆分为多个子图；分割得到上述一个或多个前景图像的每个前景图像的每个子图的病灶区域；根据上述每个前景图像的所有子图的病灶区域，确定上述每个前景图像的病灶区域。

在一种实施中，上述确定单元420具体用于，采用深度学习分类网络对上述一个或多个前景图像中的每个前景图像的病灶区域进行处理，得到上述一个或多个前景图像中的每个前景图像的病灶类型。

在一种实施中，上述分析单元430具体用于，统计相同来源的前景图像在各病灶类型下的分布情况；根据上述相同来源的前景图像在各病灶类型下的分布情况，确定各来源分别对应的各组织块的病灶类型；根据上述各组织块的病灶类型，确定上述病理图像的病灶类型。

可见，本申请首先利用提取单元将病理图像中包含的一个或多个前景图像分割出来，并对该一个或多个前景图像进行识别，以确定该一个或多个前景图像中的每个前景图像的来源，需要注意的是，来源用于指示前景图像所属的组织块，来源相同的前景图像来源于同一组织块，由于前景图像实际为组织块的切面图像，于是组织块与前景图像存在一对多的关系，一个前景图像来源于一个组织块，多个前景图像可能都来源于同个组织块。在分割出病理图像所包含的一个或多个前景图像，并确定了每个前景图像的病灶类型之后，利用确定单元确定每个前景图像的病灶类型，并利用分析单元根据相同来源的前景图像在各个病灶类型下的分布情况，确定病理图像的病灶类型。可见，本申请通过对病理图像的病灶区域进行精细化分割以及分析，从而实现了对病理图像的精细化处理，能更准确的识别出病理图像的病灶类型，尤其是在处理小尺寸的病理图像时，相比于其他图像处理方法会取得更好的结果，这是因为小尺寸病理图像可能在小小的尺寸中包含了多个小组织块的切片图像，如果不经过精细化的图像处理，极有可能出现病灶类型识别错误的情况。总的来说，本申请提供了一种高精准度和精细化的图像处理方法，可以更准确的识别病理图像的病灶类型。

参见图5，是本申请另一实施例提供的一种图像处理设备示意框图。如图所示的本实施例中的图像处理设备可以包括：处理器510和存储器520。上述处理器510和存储器520通过总线530连接。具体的：

处理器510用于执行提取单元410的功能，用于对病理图像进行分割得到一个或多个前景图像，并确定上述一个或多个前景图像中的每个前景图像的来源；还用于执行确定单元420的功能，用于确定上述一个或多个前景图像中的每个前景图像的病灶类型；还用于执行分析单元430的功能，用于根据相同来源的前景图像在各病灶类型下的分布情况，确定上述病理图像的病灶类型。

在一种实施中，处理器510还用于执行质检单元440的功能，用于确定上述一个或多个前景图像中的每个前景图像的图像质量；还用于根据上述一个或多个前景图像中的每个前景图像的图像质量，确定上述病理图像的图像质量；还用于响应于所述病理图像的图像质量大于预设值的情况，确定所述一个或多个前景图像中的每个前景图像的病灶类型。

在一种实施中，处理器510还用于执行提示单元450的功能，用于响应于上述病理图像的图像质量小于预设值的情况，提示重新制片指示，上述重新制片指示用于指示上述病理图像不合格。

在一种实施中，处理器510具体用于，确定上述一个或多个前景图像中的每个前景图像的病灶区域；根据上述一个或多个前景图像中的每个前景图像的病灶区域，分别确定上述一个或多个前景图像中的每个前景图像的病灶类型。

在一种实施中，处理器510具体用于，采用最大类间方差法调整上述病理图像中的前景部分和背景部分的像素值，以区分开上述病理图像中的前景部分和背景部分；采用主成分分析法提取出调整后的病理图像中的前景部分所包含的一个或多个前景图像，并确定上述一个或多个前景图像中的每个前景图像的来源。

在一种实施中，处理器510具体用于，采用高斯算法确定上述一个或多个前景图像的每个前景图像的第一模糊值，上述第一模糊值用于指示上述前景图像的模糊度；采用深度学习分类网络确定上述一个或多个前景图像的每个前景图像的第二模糊值，上述第二模糊值用于指示上述前景图像的模糊度；根据上述第一模糊值和上述第二模糊值确定上述一个或多个前景图像的每个前景图像的第三模糊值，上述第三模糊值用于指示上述前景图像的模糊度。

在一种实施中，处理器510具体用于，将上述一个或多个前景图像中的每个前景图像拆分为多个子图；分割得到上述一个或多个前景图像的每个前景图像的每个子图的病灶区域；根据上述每个前景图像的所有子图的病灶区域，确定上述每个前景图像的病灶区域。

在一种实施中，处理器510具体用于，采用深度学习分类网络对上述一个或多个前景图像中的每个前景图像的病灶区域进行处理，得到上述一个或多个前景图像中的每个前景图像的病灶类型。

在一种实施中，处理器510具体用于，统计相同来源的前景图像在各病灶类型下的分布情况；根据上述相同来源的前景图像在各病灶类型下的分布情况，确定各来源分别对应的各组织块的病灶类型；根据上述各组织块的病灶类型，确定上述病理图像的病灶类型。

应当理解，在本申请实施例中，所称处理器510可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器510还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器520可以包括只读存储器和随机存取存储器，并向处理器510提供指令和数据。存储器520的一部分还可以包括非易失性随机存取存储器。例如，存储器520还可以存储设备类型的信息。

计算机可读存储介质可以是前述任一实施例的图像处理设备的内部存储单元，例如图像处理设备的硬盘或内存。计算机可读存储介质也可以是图像处理设备的外部存储设备，例如图像处理设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，计算机可读存储介质还可以既包括图像处理设备的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机程序以及图像处理设备所需的其他程序和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

具体实现中，本申请实施例中所描述的处理器510可执行本申请实施例提供的图像处理方法的第二实施例和第三实施例中所描述的实现方式，也可执行本申请实施例所描述的图像处理设备的实现方式，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同图像处理方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的图像处理设备和单元的具体工作过程，可以参考前述图像处理方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的图像处理设备和图像处理方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，图像处理设备，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

对病理图像进行分割得到一个或多个前景图像，并确定所述一个或多个前景图像中的每个前景图像的来源；

确定所述一个或多个前景图像中的每个前景图像的病灶类型；

根据相同来源的前景图像在各病灶类型下的分布情况，确定所述病理图像的病灶类型。

2.根据权利要求1所述的方法，其特征在于，所述对病理图像进行分割得到一个或多个前景图像，并确定所述一个或多个前景图像中的每个前景图像的来源之后，所述确定所述一个或多个前景图像中的每个前景图像的病灶类型之前，还包括：

确定所述一个或多个前景图像中的每个前景图像的图像质量；

根据所述一个或多个前景图像中的每个前景图像的图像质量，确定所述病理图像的图像质量；

响应于所述病理图像的图像质量大于预设值的情况，执行所述确定所述一个或多个前景图像中的每个前景图像的病灶类型的步骤。

3.根据权利要求2所述的方法，其特征在于，所述根据所述一个或多个前景图像中的每个前景图像的图像质量，确定所述病理图像的图像质量之后，还包括：

响应于所述病理图像的图像质量小于所述预设值的情况，提示重新制片指示，且不执行所述确定所述一个或多个前景图像中的每个前景图像的病灶类型的步骤，所述重新制片指示用于指示所述病理图像不合格。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述确定所述一个或多个前景图像中的每个前景图像的病灶类型，包括：

确定所述一个或多个前景图像中的每个前景图像的病灶区域；

根据所述一个或多个前景图像中的每个前景图像的病灶区域，分别确定所述一个或多个前景图像中的每个前景图像的病灶类型。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述对病理图像进行分割得到一个或多个前景图像，并确定所述一个或多个前景图像中的每个前景图像的来源，包括：

采用最大类间方差法调整所述病理图像中的前景部分和背景部分的像素值，以区分开所述病理图像中的前景部分和背景部分；

采用主成分分析法确定调整后的病理图像中的前景部分所包含的一个或多个前景图像的位置信息，及所述一个或多个前景图像中的每个前景图像的来源；

根据所述一个或多个前景图像的位置信息，从调整前的病理图像中，分割出所述一个或多个前景图像。

6.根据权利要求2所述的方法，其特征在于，所述确定所述一个或多个前景图像中的每个前景图像的图像质量，包括：

采用高斯算法确定所述一个或多个前景图像的每个前景图像的模糊值；

采用深度学习分类网络确定所述一个或多个前景图像的每个前景图像的模糊概率；

根据所述模糊值和所述模糊概率确定所述一个或多个前景图像的每个前景图像的图像质量，所述图像质量用于指示所述前景图像的模糊度。

7.根据权利要求4所述的方法，其特征在于，所述确定所述一个或多个前景图像中的每个前景图像的病灶区域，包括：

将所述一个或多个前景图像中的每个前景图像拆分为多个子图；

分割得到所述一个或多个前景图像的每个前景图像的每个子图的病灶区域；

根据所述每个前景图像的所有子图的病灶区域，确定所述每个前景图像的病灶区域。

8.一种图像处理设备，其特征在于，包括：

提取单元，用于对病理图像进行分割得到一个或多个前景图像，并确定所述一个或多个前景图像中的每个前景图像的来源；

确定单元，用于确定所述一个或多个前景图像中的每个前景图像的病灶类型；

分析单元，用于根据相同来源的前景图像在各病灶类型下的分布情况，确定所述病理图像的病灶类型。

9.一种图像处理设备，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，用以执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行，用以执行如权利要求1-7任一项所述的方法。