CN109389129B - 一种图像处理方法、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、电子设备及存储介质，其中方法包括：对第一图像进行处理，获得所述第一图像中多个像素点的预测结果，所述预测结果包括语义预测结果和中心相对位置预测结果，其中，所述语义预测结果指示所述像素点位于实例区域或背景区域，所述中心相对位置预测结果指示所述像素点与实例中心之间的相对位置；基于所述多个像素点中每个像素点的语义预测结果和中心相对位置预测结果，确定所述第一图像的实例分割结果，可以使图像处理中的实例分割具备速度快、精度高的优点。

Description

一种图像处理方法、电子设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，具体涉及一种图像处理方法、电子设备及存储介质。

背景技术

影像处理又称为图像处理，是用计算机对图像进行分析，以达到所需结果的技术。图像处理一般指数字图像处理，数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素点，其值称为灰度值。图像处理在许多领域起着十分重要的作用，尤其是对医学影像的处理。

发明内容

本申请实施例提供了一种图像处理方法、电子设备及存储介质。

本申请实施例第一方面提供一种图像处理方法，包括：

对第一图像进行处理，获得所述第一图像中多个像素点的预测结果，所述预测结果包括语义预测结果和中心相对位置预测结果，其中，所述语义预测结果指示所述像素点位于实例区域或背景区域，所述中心相对位置预测结果指示所述像素点与实例中心之间的相对位置；

基于所述多个像素点中每个像素点的语义预测结果和中心相对位置预测结果，确定所述第一图像的实例分割结果。

可选的，所述对第一图像进行处理，获得所述第一图像中多个像素点的语义预测结果包括：

对所述第一图像进行处理，得到所述第一图像中多个像素点的实例区域预测概率，所述实例区域预测概率指示该像素点位于实例区域的概率；

基于第二阈值对上述多个像素点的实例区域预测概率进行二值化处理，得到所述多个像素点中每个像素点的语义预测结果。

可选的，所述实例中心区域包括：在所述实例区域内并且小于所述实例区域的区域，并且所述实例中心区域的几何中心与所述实例区域的几何中心重叠。

在一种可选的实施方式中，在对第一图像进行处理之前，所述方法还包括：

对第二图像进行预处理，得到所述第一图像，以使得所述第一图像满足预设对比度和/或预设灰度值。

在一种可选的实施方式中，在对所述第一图像进行处理之前，所述方法还包括：

对所述第二图像进行预处理，得到所述第一图像，以使得所述第一图像满足预设图像大小。

在一种可选的实施方式中，所述基于所述多个像素点中每个像素点的语义预测结果和中心相对位置预测结果，确定所述第一图像的实例分割结果，包括：

基于所述多个像素点中每个像素点的语义预测结果，从所述多个像素点中确定位于实例区域的至少一个第一像素点；

基于所述至少一个第一像素点中每个第一像素点的中心相对位置预测结果，确定所述每个第一像素点所属的实例。

所述实例为第一图像中的分割对象，具体可以为第一图像中的封闭性结构。

本申请实施例中的实例包括细胞核，即本申请实施例可以应用于细胞核分割。

在一种可选的实施方式中，所述预测结果还包括：中心区域预测结果，所述中心区域预测结果指示所述像素点是否位于实例中心区域，

所述方法还包括：

基于所述多个像素点中每个像素点的中心区域预测结果，确定所述第一图像的至少一个实例中心区域；

所述基于所述至少一个第一像素点中每个第一像素点的中心相对位置预测结果，确定所述每个第一像素点所属的实例，包括：

基于所述至少一个第一像素点中每个第一像素点的中心相对位置预测结果，从所述至少一个实例中心区域中确定所述每个第一像素点对应的实例中心区域。

在一种可选的实施方式中，所述基于所述多个像素点中每个像素点的中心区域预测结果，确定所述第一图像的至少一个实例中心区域，包括：

基于所述多个像素点中每个像素点的中心区域预测结果，对所述第一图像进行连通域搜索处理，得到至少一个实例中心区域。

在一种可选的实施方式中，所述基于所述多个像素点中每个像素点的中心区域预测结果，对所述第一图像进行连通域搜索处理，得到至少一个实例中心区域包括：

基于所述多个像素点中每个像素点的中心区域预测结果，使用随机游走算法对所述第一图像进行连通域搜索处理，得到至少一个实例中心区域。

在一种可选的实施方式中，所述基于所述至少一个第一像素点中每个第一像素点的中心相对位置预测结果，从所述至少一个实例中心区域中确定所述每个第一像素点对应的实例中心区域，包括：

基于所述第一像素点的位置信息和所述第一像素点的中心相对位置预测结果，确定所述第一像素点的中心预测位置；

基于所述第一像素点的中心预测位置和所述至少一个实例中心区域的位置信息，从所述至少一个实例中心区域中确定所述第一像素点对应的实例中心区域。

在一种可选的实施方式中，所述基于所述第一像素点的中心预测位置和所述至少一个实例中心区域的位置信息，从所述至少一个实例中心区域中确定所述第一像素点对应的实例中心区域，包括：

响应于所述第一像素点的中心预测位置属于所述至少一个实例中心区域中的第一实例中心区域，将所述第一实例中心区域确定为所述第一像素点对应的实例中心区域。

在一种可选的实施方式中，所述基于所述第一像素点的中心预测位置和所述至少一个实例中心区域的位置信息，从所述至少一个实例中心区域中确定所述第一像素点对应的实例中心区域，包括：

响应于所述第一像素点的中心预测位置不属于所述至少一个实例中心区域中的任意实例中心区域，将所述至少一个实例中心区域中与所述第一像素点的中心预测位置距离最近的实例中心区域确定为所述第一像素点对应的实例中心区域。

在一种可选的实施方式中，所述对第一图像进行处理，获得所述第一图像中多个像素点的预测结果，包括：

对所述第一图像进行处理，得到所述第一图像中多个像素点的中心区域预测概率；

基于第一阈值对所述多个像素点的中心区域预测概率进行二值化处理，得到所述多个像素点中每个像素点的中心区域预测结果。

在一种可选的实施方式中，所述对第一图像进行处理，获得所述第一图像中多个像素点的预测结果，包括：

将第一图像输入到神经网络进行处理，输出所述第一图像中多个像素点的预测结果。

本申请实施例第二方面提供一种电子设备，包括：预测模块和分割模块，其中：

所述预测模块，用于对第一图像进行处理，获得所述第一图像中多个像素点的预测结果，所述预测结果包括语义预测结果和中心相对位置预测结果，其中，所述语义预测结果指示所述像素点位于实例区域或背景区域，所述中心相对位置预测结果指示所述像素点与实例中心之间的相对位置；

所述分割模块，用于基于所述多个像素点中每个像素点的语义预测结果和中心相对位置预测结果，确定所述第一图像的实例分割结果。

可选的，所述预测模块具体用于：

对所述第一图像进行处理，得到所述第一图像中多个像素点的实例区域预测概率，所述实例区域预测概率指示该像素点位于实例区域的概率；

基于第二阈值对上述多个像素点的实例区域预测概率进行二值化处理，得到所述多个像素点中每个像素点的语义预测结果。

在一种可选的实施方式中，所述电子设备还包括预处理模块，用于对第二图像进行预处理，得到所述第一图像，以使得所述第一图像满足预设对比度和/或预设灰度值。

在一种可选的实施方式中，所述预处理模块，还用于对所述第二图像进行预处理，得到所述第一图像，以使得所述第一图像满足预设图像大小。

在一种可选的实施方式中，所述分割模块包括第一单元和第二单元，其中：

所述第一单元，用于基于所述多个像素点中每个像素点的语义预测结果，从所述多个像素点中确定位于实例区域的至少一个第一像素点；

所述第二单元，用于基于所述至少一个第一像素点中每个第一像素点的中心相对位置预测结果，确定所述每个第一像素点所属的实例。

在一种可选的实施方式中，所述预测结果还包括：中心区域预测结果，所述中心区域预测结果指示所述像素点是否位于实例中心区域，

所述分割模块还包括第三单元，用于基于所述多个像素点中每个像素点的中心区域预测结果，确定所述第一图像的至少一个实例中心区域；

所述第二单元具体用于，基于所述至少一个第一像素点中每个第一像素点的中心相对位置预测结果，从所述至少一个实例中心区域中确定所述每个第一像素点对应的实例中心区域。

在一种可选的实施方式中，所述第三单元具体用于，基于所述多个像素点中每个像素点的中心区域预测结果，对所述第一图像进行连通域搜索处理，得到至少一个实例中心区域。

在一种可选的实施方式中，所述第三单元具体用于，基于所述多个像素点中每个像素点的中心区域预测结果，使用随机游走算法对所述第一图像进行连通域搜索处理，得到至少一个实例中心区域。

在一种可选的实施方式中，所述第二单元具体用于：

基于所述第一像素点的位置信息和所述第一像素点的中心相对位置预测结果，确定所述第一像素点的中心预测位置；

基于所述第一像素点的中心预测位置和所述至少一个实例中心区域的位置信息，从所述至少一个实例中心区域中确定所述第一像素点对应的实例中心区域。

在一种可选的实施方式中，所述第二单元具体用于：

响应于所述第一像素点的中心预测位置属于所述至少一个实例中心区域中的第一实例中心区域，将所述第一实例中心区域确定为所述第一像素点对应的实例中心区域。

在一种可选的实施方式中，所述第二单元具体用于：

响应于所述第一像素点的中心预测位置不属于所述至少一个实例中心区域中的任意实例中心区域，将所述至少一个实例中心区域中与所述第一像素点的中心预测位置距离最近的实例中心区域确定为所述第一像素点对应的实例中心区域。

在一种可选的实施方式中，所述预测模块包括概率预测单元和判断单元，其中：

所述概率预测单元，用于对所述第一图像进行处理，得到所述第一图像中多个像素点的中心区域预测概率；

所述判断单元，用于基于第一阈值对所述多个像素点的中心区域预测概率进行二值化处理，得到所述多个像素点中每个像素点的中心区域预测结果。

在一种可选的实施方式中，所述预测模块具体用于，将第一图像输入到神经网络进行处理，输出所述第一图像中多个像素点的预测结果。

本申请实施例第三方面提供另一种电子设备，包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序被配置成由所述处理器执行，所述处理器用于执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

本申请实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

本申请实施例中，通过对第一图像进行处理，获得上述第一图像中多个像素点的预测结果，上述预测结果包括语义预测结果和中心相对位置预测结果，其中，上述语义预测结果指示上述像素点位于实例区域或背景区域，上述中心相对位置预测结果指示上述像素点与实例中心之间的相对位置，基于上述多个像素点中每个像素点的语义预测结果和中心相对位置预测结果，确定上述第一图像的实例分割结果，可以使图像处理中的实例分割具备速度快、精度高的优点。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。

图1是本申请实施例公开的一种图像处理方法的流程示意图；

图2是本申请实施例公开的另一种图像处理方法的流程示意图；

图3是本申请实施例公开的一种细胞实例分割结果示意图；

图4是本申请实施例公开的一种电子设备的结构示意图；

图5是本申请实施例公开的另一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以允许多个其他终端设备进行访问。上述电子设备包括终端设备，具体实现中，上述终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

本申请实施例中的深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素点强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分。不同的学习框架下建立的学习模型很是不同。例如，卷积神经网络(Convolutional neuralnetwork，CNN)就是一种深度的监督学习下的机器学习模型，也可称为基于深度学习的网络结构模型，而深度置信网(Deep Belief Net，DBN)就是一种无监督学习下的机器学习模型。

下面对本申请实施例进行详细介绍，应理解，本公开实施例可以应用于对图像进行细胞核分割或者其他具有封闭结构的实例的分割，本公开实施例对此不做限定。

请参阅图1，图1是本申请实施例公开的一种图像处理方法的流程示意图，如图1所示，该图像处理方法包括如下步骤。

101、对第一图像进行处理，获得上述第一图像中多个像素点的预测结果，上述预测结果包括语义预测结果和中心相对位置预测结果，其中，上述语义预测结果指示上述像素点位于实例区域或背景区域，上述中心相对位置预测结果指示上述像素点与实例中心之间的相对位置。

可选地，在101中，通过对第一图像进行处理，得到第一图像包含的多个像素点中国每个像素点的预测结果，其中，多个像素点可以为第一图像的所有或部分像素点，本公开实施例对此不做限定。上述第一图像，可以包括通过各种图像采集设备(比如显微镜)获得的病理图像，比如细胞核图像等，本公开实施例对第一图像的获取方式以及实例的具体实现不做限定。

在本公开实施例中，可以通过多种方式对第一图像进行处理，例如，利用实例分割算法对第一图像进行处理，或者，可以将上述第一图像输入到神经网络进行处理，输出上述第一图像中多个像素点的预测结果，本公开实施例对此不做限定。

在一个可选例子中，可以通过基于深度学习的神经网络来获得上述第一图像中多个像素点的预测结果，比如深层融合网络(Deep Layer Aggregation，DLANet)，但本公开实施例对神经网络的具体实现不作限定。深层融合网络，也叫深层聚合网络，通过更深入的聚合来扩充标准体系结构，以更好地融合各层的信息，深层融合以迭代和分层方式合并特征层次结构，使网络具有更高的准确性和更少的参数。使用树型构造取代以往架构的线性构造，实现了对于网络的梯度回传长度的对数级别压缩，而不是线性压缩，使得学习到的特征更具备描述能力，可以有效提高上述数值指标的预测精度。

在一些可能的实现方式中，可以对第一图像进行语义分割处理，得到第一图像中多个像素点的语义预测结果，并基于多个像素点的语义预测结果确定第一图像的实例分割结果。其中，语义分割处理用于将第一图像中的像素点按照语义含义的不同进行分组(Grouping)/分割(Segmentation)。例如，可以确定第一图像包含的多个像素点中每个像素点是实例还是背景，即位于实例区域还是位于背景区域。

像素点级别的语义分割可以对图像中的每个像素点都划分出对应的类别，即实现像素点级别的分类；而类的具体对象，即为实例。实例分割不但要进行像素点级别的分类，还需在具体的类别基础上区别开不同的实例。比如说第一图像中有三个细胞核1、2、3，其语义分割结果都是细胞核，而实例分割结果却是不同的对象。

在本公开实施例中，对于第一图像，可选地，可以对第一图像中的每一个像素点进行独立的实例判断，判断其所属的语义分割类别以及所属的实例ID。例如一张图像中有三个细胞核，则每个细胞核的语义分割类别都是1，但不同细胞核的ID分别是1，2，3，则可以通过上述细胞核ID来区分不同的细胞核。

在一些可能的实现方式中，像素点的语义预测结果可以指示上述像素点位于实例区域或背景区域。也就是说，像素点的语义预测结果指示该像素点为实例或者背景。

上述实例区域可以理解为实例所在的区域，背景区域为图像中除实例以外的其他区域。比如，假设第一图像为细胞图像，则像素点的语义预测结果可以包括用于指示像素点在细胞图像中为细胞核区域还是背景区域的指示信息。在本公开实施例中，可以通过多种方式指示像素点为实例区域还是背景区域。一些可能的实施方式中，像素点的语义预测结果可以为两个预设数值中的一个，其中，这两个预设数值分别对应于实例区域和背景区域。例如，像素点的语义预测结果可以为0或正整数(例如1)，其中，0表示背景区域，正整数(例如1)表示实例区域，但本公开实施例不限于此。

可选的，上述语义预测结果可以是二值化结果。此时，可以对第一图像进行处理，得到多个像素点中每个像素点的实例区域预测概率，其中，实例区域预测概率指示该像素点位于实例区域的概率，然后，基于第二阈值对上述多个像素点中每个像素点的实例区域预测概率进行二值化处理，得到所述多个像素点中每个像素点的语义预测结果。

在一个例子中，上述二值化处理的第二阈值可以为0.5，此时，将实例区域预测概率大于或等于0.5的像素点确定为位于实例区域的像素点，并将实例区域预测概率小于0.5的像素点确定为位于背景区域的像素点。相应地，作为一个例子，将实例区域预测概率大于或等于0.5的像素点的语义预测结果确定为1，并将实例区域预测概率小于0.5的像素点的语义预测结果确定为0，但本公开实施例不限于此。

在一些可能的实现方式中，像素点的预测结果包括像素点的中心相对位置预测结果，用于指示上述像素点与该像素点所属实例中心之间的相对位置。在一个例子中，像素点的中心相对位置预测结果可以包括像素点的中心向量预测结果，例如，像素点的中心相对位置预测结果为(x，y)，分别表示像素点的坐标与实例中心的坐标在横轴和纵轴上的差值。可选地，像素点的中心相对位置预测结果还可以通过其他方式实现，本公开实施例对此不做限定。

可选地，可以基于像素点的中心相对位置预测结果和该像素点的位置信息，确定像素点的实例中心预测位置，即像素点所属实例的中心的预测位置，并基于像素点的实例中心预测位置，确定像素点所属的实例，但本公开实施例对此不做限定。

在一个可选例子中，可以基于对第一图像的处理，确定第一图像中的至少一个实例中心的位置信息，并基于像素点的实例中心预测位置和至少一个实例中心的位置信息，确定像素点所属的实例。

在另一个例子中，可以将实例中心所属的一小块区域定义为实例中心区域，即实例中心区域是在该实例区域内并且小于该实例区域的区域，并且该实例中心区域的几何中心与该实例区域的几何中心重叠或邻近，例如，实例中心区域的中心为实例中心。可选地，该实例中心区域可以为圆形、椭圆或其他形状，上述实例中心区域可以根据需要进行设置，本申请实施例对实例中心区域的具体实现不做限制。

此时，可选地，可以确定第一图像中的至少一个实例中心区域，并基于像素点的实例中心预测位置与至少一个实例中心区域之间的位置关系，从至少一个实例中心区域中确定像素点所属的实例，但本公开实施例对其具体实现不做限定。

可选地，像素点的预测结果还包括像素点的中心区域预测结果，指示像素点是否位于实例中心区域，相应地，可以基于多个像素点中每个像素点的中心区域预测结果，确定第一图像的至少一个实例中心区域。

在一个例子中，可以通过神经网络对第一图像进行处理，得到第一图像包含的多个像素点中每个像素点的中心区域预测结果。

在一些可能的实现方式中，上述神经网络可以是通过监督训练方式进行训练得到的。训练过程中利用的样本图像可以标注有实例信息，可以基于样本图像标注的实例信息确定实例的中心区域，并将确定的实例的中心区域作为监督进行神经网络的训练。

可选地，可以基于实例信息，确定实例中心，并将包含实例中心的预设尺寸或面积的区域确定为实例的中心区域。可选地，还可以对样本图像进行腐蚀处理，得到腐蚀处理后的样本图像，并基于腐蚀处理后的样本图像确定实例的中心区域。

图像的腐蚀操作是表示用某种结构元素对图像进行探测，以便找出在图像内部可以放下该结构元素的区域。本申请实施例中提到的图像腐蚀处理可以包括上述腐蚀操作，腐蚀操作是结构原中心在被腐蚀图像中平移填充的过程。从腐蚀后的结果来看，图像前景区域缩小，区域边界变模糊，同时一些比较小的孤立的前景区域被完全腐蚀掉，达到了滤波的效果。

比如，针对每一个实例蒙版，首先利用5×5的卷积核对实例蒙版(mask)进行图像腐蚀处理，然后，将实例包括的多个像素点的坐标进行平均，得到实例的中心位置，并确定实例中的所有像素点到达该实例的中心位置的最大距离，并将与实例的中心位置之间的距离小于上述最大距离的30％的像素点确定为实例的中心区域的像素点，即得到实例的中心区域。这样，由样本图像中的实例蒙版缩小一圈后，进行图像二值化处理获得中心区域预测的二值图蒙版。

此外，可选地，可以基于样本图像中标注的实例中包含的像素点的坐标以及实例的中心位置，获得像素点的中心相对位置信息，即上述像素点与实例中心之间的相对位置信息，例如由像素点到实例中心的向量，并将该相对位置信息作为监督进行神经网络的训练，但本公开实施例不限于此。

在本公开实施例中，可以通过对第一图像进行处理，得到第一图像包含的多个像素点中每个像素点的中心区域预测结果。在一些可能的实现方式中，可以对上述第一图像进行处理，得到上述第一图像的多个像素点中每个像素点的中心区域预测概率；并基于第一阈值对上述多个像素点的中心区域预测概率进行二值化处理，得到上述多个像素点中每个像素点的中心区域预测结果。

其中，像素点的中心区域预测概率可以指像素点位于实例中心区域的概率。

可选地，不位于实例中心区域的像素点可以是背景区域的像素点或者实例区域的像素点。

在本公开实施例中，二值化处理可以为固定阈值的二值化处理或者自适应阈值的二值化处理。例如双峰法、P参数法、迭代法和OTSU法等，本公开实施例对二值化处理的具体实现不做限定。

可选地，上述二值化处理的第一阈值或第二阈值可以是预设的或者是根据实际情况确定的，本公开实施例对此不做限定。

在一些可能的实现方式中，通过判断像素点的中心区域预测概率与上述第一阈值之间的大小关系，来获得像素点的中心区域预测结果。比如第一阈值可以为0.5，此时，可选地，将中心区域预测概率大于或等于0.5的像素点确定为位于实例中心区域的像素点，并将中心区域预测概率小于0.5的像素点确定为不位于实例中心区域的像素点，从而得到每个像素点的中心区域预测结果。例如，将中心区域预测概率大于或等于0.5的像素点的中心区域预测结果确定为1，并将中心区域预测概率小于0.5的像素点的中心区域预测结果确定为0，但本公开实施例不限于此。

在获得上述预测结果之后可以执行步骤102。

102、基于上述多个像素点中每个像素点的语义预测结果和中心相对位置预测结果，确定上述第一图像的实例分割结果。

在步骤101中，获得了上述语义预测结果和上述中心相对位置预测结果之后，可以确定位于实例区域的至少一个像素点以及上述至少一个像素点与其所属实例中心之间的相对位置信息。

在一些可能的实现方式中，可以基于上述多个像素点中每个像素点的语义预测结果，从上述多个像素点中确定位于实例区域的至少一个第一像素点；

基于第一像素点的中心相对位置预测结果，确定第一像素点所属的实例。

可以根据多个像素点中每个像素点的语义预测结果，确定出位于实例区域的至少一个第一像素点，具体地，将多个像素点中语义预测结果指示位于实例区域的像素点确定为第一像素点。

进一步地，对于位于实例区域的像素点(即上述第一像素点)，可以根据像素点的中心相对位置预测结果，判断该像素点所属的实例，其中，第一图像的实例分割结果包括至少一个实例中每个实例包括的像素点，换句话说，包括位于实例区域的每个像素点所属的实例。在一些可能的实现方式中，可以通过不同的实例标识或标号(例如实例ID)来区分不同的实例，其中，可选地，实例ID可以为大于0的整数，比如实例a的实例ID为1，实例b的实例ID为2，背景对应的实例ID为0，则可以得到第一图像的多个像素点中每个像素点对应的实例标识，或者得到第一图像的至少一个第一像素点中每个第一像素点的实例标识，即位于背景区域的像素点不具有对应的实例标识，本公开实施例对此不做限定。

对于细胞实例分割中的像素点，若其语义预测结果为细胞且其中心向量指向某个中心区域，则将此像素点分配给该细胞的细胞核区域(细胞核语义区域)，按照上述步骤对全部像素点进行分配，可以获得细胞分割结果。

在数字显微镜中进行细胞核分割可以提取细胞核的高质量形态学特征，也可以进行细胞核的计算病理学分析。这些信息是判断例如癌症级别、药物治疗有效性的重要依据。在过去人们常用大津算法(Otsu)和水线(也称分水岭或流域，watershed)阈值算法来解决细胞核实例分割的问题，但由于细胞核形态的多样性，上述方法效果不佳。实例分割可以依靠卷积神经网络(Convolutional Neural Network，CNN)，主要有如下两种算法的变体：名叫MaskRCNN(Mask Regions with CNN features)和简单梳理全卷积网络(FullyConvolutional Network，FCN)的目标实例分割框架。但是，MaskRCN的缺点在于超参数繁多，对于具体问题要求人员具备很高的专业认知才能得到较好的结果，且该方法运行缓慢。FCN需要特殊的图像后处理才能把粘合的细胞分成多个实例，这也需要从业人员较高的专业知识。

本申请实施例中使用中心向量来建模，使图像处理中的实例分割具备速度快、精度高的优点。对于细胞分割问题，上述FCN将部分实例收缩为边界类，然后使用针对性的后处理算法来修整边界所属实例的预测，相比之下中心向量可以基于数据更精确的预测细胞核的边界状态，也无需复杂的专业后处理算法；上述MaskRCNN先通过矩形截取出每个独立实例的图像再进行细胞、背景的二类预测，但细胞表现为聚集在一起的多个不规则类椭圆形，矩形截取后一个实例处于中心，别的实例仍然部分处于边缘，不利于接下来的二类分割。相比之下中心向量建模也不会有这类问题，中心向量可以对于细胞核边界得出精确的预测，从而提高了整体预测精度。

本申请实施例可以应用于临床的辅助诊断中。医生在获得了病人的器官组织切片数字扫描图像后，可以将图像输入本申请实施例中的流程，得出每一个独立细胞核的像素点蒙版，医生可以以此为依据，计算该器官的细胞密度、细胞形态特征，进而得出更准确的医学判断。

本申请实施例通过对第一图像进行处理，获得上述第一图像中多个像素点的预测结果，上述预测结果包括语义预测结果和中心相对位置预测结果，其中，上述语义预测结果指示上述像素点位于实例区域或背景区域，上述中心相对位置预测结果指示上述像素点与实例中心之间的相对位置，基于上述多个像素点中每个像素点的语义预测结果和中心相对位置预测结果，确定上述第一图像的实例分割结果，可以使图像处理中的实例分割具备速度快、精度高的优点。

请参阅图2，图2是本申请实施例公开的另一种图像处理方法的流程示意图，图2是在图1的基础上进一步优化得到的。执行本申请实施例步骤的主体可以为前述的一种电子设备。如图2所示，该图像处理方法包括如下步骤：

201、对第二图像进行预处理，得到第一图像，以使得上述第一图像满足预设对比度和/或预设灰度值。

本申请实施例中提到的第二图像可以为通过各种图像采集设备(比如显微镜)获得的多模态病理图像，上述多模态可以理解为其图像类型可以是多样化的，并且其图像大小、色彩、分辨率等特征可能不相同，呈现出的图像风格不一样，即上述第二图像可以为一张或者多张。在病理切片的制作以及成像的过程中，由于其组织类型、获取途径、成像设备等因素的不同，得到的病理影像数据通常差异很大。例如，不同显微镜下采集的病理图像，其分辨率会有很大的差异。通过光学显微镜可以获取病理组织的彩色图像(分辨率较低)，而电子显微镜通常只能采集到灰度图像(但分辨率较高)。然而，对于一套临床可用的病理系统，通常需要分析不同类型的、由不同成像设备获取的病理组织。

包含上述第二图像的数据集中，不同病人、不同器官、不同染色方法的图片复杂多样，因此可以首先通过步骤201降低第二图像的多样性。

执行本申请实施例步骤的主体可以为前述的一种电子设备。电子设备中可以存储有上述预设对比度和/或上述预设灰度值，可以将上述第二图像转换为满足上述预设对比度和/或上述预设灰度值的第一图像后，再执行步骤202。

本申请实施例中提到的对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量，差异范围越大代表对比越大，差异范围越小代表对比越小。

由于景物各点的颜色及亮度不同，摄成的黑白照片上或电视接收机重现的黑白图像上各点呈现不同程度的灰色。把白色与黑色之间按对数关系分成若干级，称为“灰度等级”。范围一般从0到255，白色为255，黑色为0，故黑白图片也称灰度图像，在医学、图像识别领域有很广泛的用途。

可选的，上述预处理还可以对上述第二图像的图像大小、图像分辨率、图像格式等图像参数进行统一。比如，可以对第二图像进行剪裁，获得预设图像尺寸的第一图像，比如统一为256*256尺寸的第一图像。电子设备还可以存储有预设图像大小和/或预设图像格式，在预处理时可以转换获得满足上述预设图像大小和/或预设图像格式的第一图像。

电子设备可以借助图像超分辨率(Image Super Resolution)以及图像转化等技术，将不同病理组织、不同成像设备获取的多模态病理图像进行统一，使它们可以作为本申请实施例中的图像处理流程的输入。此步骤也可以称为图像的归一化过程。转换为统一风格的图像，更便于后续对图像的统一处理。

图像超分辨率技术是指用图像处理的方法，通过软件算法(强调不变动成像硬件设备)的方式将已有的低分辨率(LR)图像转换成高分辨率(HR)图像的技术，可分为超分辨率复原和也称超分辨率图像重建(Super resolution image reconstruction，SRIR)。目前，图像超分辨率研究可分为三个主要范畴：基于插值、基于重建和基于学习的方法。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率，实现时间分辨率向空间分辨率的转换。通过上述预处理可以获得高分辨率的第一图像，对于医生做出正确的诊断是非常有帮助的，如果能够提供高分辨的图像，计算机视觉中的模式识别的性能也就会大大提高。

202、对上述第一图像进行处理，获得上述第一图像中多个像素点的预测结果，上述预测结果包括语义预测结果、中心相对位置预测结果和中心区域预测结果，其中，上述语义预测结果指示上述像素点位于实例区域或背景区域，上述中心相对位置预测结果指示上述像素点与实例中心之间的相对位置，上述中心区域预测结果指示上述像素点是否位于上述实例中心区域。

其中，上述步骤202可以参考图1所示实施例的步骤101中的具体描述，此处不再赘述。

203、基于上述多个像素点中每个像素点的语义预测结果，从上述多个像素点中确定位于实例区域的至少一个第一像素点。

基于上述多个像素点中每个像素点的语义预测结果和中心相对位置预测结果，可以判断出每个像素点位于实例区域还是背景区域，从而可以从上述多个像素点中确定位于上述实例区域的至少一个第一像素点。

上述实例区域可以理解为实例所在的区域，背景区域为图像中除实例以外的其他区域。比如，假设第一图像为细胞图像，则像素点的语义预测结果可以包括用于指示像素点在细胞图像中为细胞核区域还是背景区域的指示信息。在本公开实施例中，可以通过多种方式指示像素点为实例区域还是背景区域。一些可能的实施方式中，像素点的语义预测结果可以为两个预设数值中的一个，其中，这两个预设数值分别对应于实例区域和背景区域。例如，像素点的语义预测结果可以为0或正整数(例如1)，其中，0表示背景区域，正整数(例如1)表示实例区域，但本公开实施例不限于此。

204、基于上述多个像素点中每个像素点的中心区域预测结果，确定上述第一图像的至少一个实例中心区域。

具体的，可以将实例中心所属的一小块区域定义为实例中心区域，即实例中心区域是在该实例区域内并且小于该实例区域的区域，并且该实例中心区域的几何中心与该实例区域的几何中心重叠或邻近，例如，实例中心区域的中心为实例中心。可选地，该实例中心区域可以为圆形、椭圆或其他形状，上述实例中心区域可以根据需要进行设置，本申请实施例对实例中心区域的具体实现不做限制。

上述中心相对位置预测结果可以指示上述像素点与实例中心之间的相对位置。在一个例子中，像素点的中心相对位置预测结果可以包括像素点的中心向量预测结果，例如，像素点的中心相对位置预测结果为(x，y)，分别表示像素点的坐标与实例中心的坐标在横轴和纵轴上的差值。可选地，像素点的中心相对位置预测结果还可以通过其他方式实现，本公开实施例对此不做限定。

本申请实施例中上述中心区域预测结果可以指示上述像素点是否位于实例中心区域，由此可以通过参考中心区域预测结果，确定位于实例中心区域的像素点，而这些像素点可以组成实例中心区域，由此可以确定出上述至少一个实例中心区域。

可选的，可以基于所述多个像素点中每个像素点的中心区域预测结果，对所述第一图像进行连通域搜索处理，得到至少一个实例中心区域。

其中，连通区域(Connected Component)一般是指图像中具有相同像素点值且位置相邻的前景像素点组成的图像区域(Region，Blob)。上述连通域搜索可以理解为连通区域分析(Connected Component Analysis，Connected Component Labeling)是指将图像中的各个连通区域找出并标记。

连通区域分析是一种在国际计算机视觉与模式识别会议(Conference onComputer Vision and Pattern Recognition，CVPR)和图像分析处理的众多应用领域中较为常用和基本的方法。例如：光学字符识别(Optical Character Recognition，OCR)识别中字符分割提取(车牌识别、文本识别、字幕识别等)、视觉跟踪中的运动前景目标分割与提取(行人入侵检测、遗留物体检测、基于视觉的车辆检测与跟踪等)、医学图像处理(感兴趣目标区域提取)等等。也就是说，在需要将前景目标提取出来以便后续进行处理的应用场景中都能够用到连通区域分析方法，通常连通区域分析处理的对象是一张二值化后的图像(二值图像)。

对于集合S存在一条通路的条件是，通路的像素点的某种排列，相邻像素点满足某种邻接关系。例如点p到点q之间有A1,A2,A3.....An个像素点，且相邻像素点都满足某种邻接。则p和q间存在通路。如果通路首尾相连，则称闭合通路。S集合中的一点p只存在一条通路，则称为一个连通分量，如果S只有一个连通分量，则称为一个连通集。

对于R为一个图像子集，如果R连通的，则称R为一个区域。对于所有不连接的K个区域，其并集Rk构成了图像的前景，Rk的补集称为背景。

基于上述每个像素点的中心区域预测结果，对上述第一图像进行连通域搜索处理，可以得到至少一个实例中心区域，再执行步骤205。

具体的，对于二值化处理后的第一图像，可以找中心区域为1的连通域，以确定实例中心区域，为每个连通域分配一个独立ID。

对于细胞分割，可以基于细胞核中的像素点的坐标和上述中心向量，确定上述中心向量的指向位置是否处于上述中心区域，若处于，则为其分配细胞核的ID，不属于任意一个细胞核，则可以就近分配。

可选的，可以使用随机游走算法对所述第一图像进行连通域搜索处理，得到至少一个实例中心区域。

随机游走(random walk)也称随机漫步，随机行走等，是指基于过去的表现，无法预测将来的发展步骤和方向。核心概念是指任何无规则行走者所带的守恒量都各自对应着一个扩散运输定律，接近于布朗运动，是布朗运动理想的数学状态。本申请实施例中针对图像处理的随机游走(random walk)的基本思想是，将图像看成由固定的顶点和边组成的连通带权无向图，从未标记顶点开始随机漫步，首次到达各类标记顶点的概率代表了未标记点归属于标记类的可能性，把最大的概率所在类的标签赋给未标记顶点，完成分割。通过上述随机游走算法可以实现对不属于任意一个中心区域的像素的分配，以获得上述至少一个实例中心区域。

可选的，可以通过上述深度层级融合网络模型输出像素点连接图，在上述连通域搜索处理后可以得出实例分割结果。可选的，可以在上述实例分割结果中对每个实例区域赋予随机色彩以便于可视化。

其中，上述步骤203和步骤204也可以不分先后次序执行；在确定上述至少一个实例中心区域之后，可以执行步骤205。

205、基于上述至少一个第一像素点中每个第一像素点的中心相对位置预测结果，从上述至少一个实例中心区域中确定上述每个第一像素点对应的实例中心区域。

具体的，可以基于上述第一像素点的位置信息和上述第一像素点的中心相对位置预测结果，确定上述第一像素点的中心预测位置。

在步骤202中可以获得像素点的位置信息，具体可以为像素点的坐标，而上述第一像素点为位于上述实例区域的像素点，上述第一像素点的中心相对位置预测结果指示上述第一像素点与实例中心之间的相对位置，可见根据上述第一像素点的坐标和上述第一像素点的中心相对位置预测结果，可以确定上述第一像素点的中心预测位置。上述中心预测位置可以指示预测的上述第一像素点所属的实例中心区域的中心位置。

进一步地，基于上述第一像素点的中心预测位置和上述至少一个实例中心区域的位置信息，可以从上述至少一个实例中心区域中确定上述第一像素点对应的实例中心区域。

在步骤204中，获得上述实例中心区域时，可以获得上述实例中心区域的位置信息，也可以由坐标表示，进而可以基于第一像素点的中心预测位置和至少一个实例中心区域的位置信息，判断上述第一像素点的中心预测位置是否属于上述至少一个实例中心区域，以此从上述至少一个实例中心区域中确定第一像素点对应的实例中心区域。

具体的，可以响应于上述第一像素点的中心预测位置属于上述至少一个实例中心区域中的第一实例中心区域，将上述第一实例中心区域确定为上述第一像素点对应的实例中心区域。

若上述第一像素点的中心预测位置属于上述至少一个实例中心区域中的第一实例中心区域，将上述第一实例中心区域确定为上述第一像素点对应的实例中心区域，可以将该像素点分配给该实例中心区域。

可选的，响应于所述第一像素点的中心预测位置不属于所述至少一个实例中心区域中的任意实例中心区域，将所述至少一个实例中心区域中与所述第一像素点的中心预测位置距离最近的实例中心区域确定为所述第一像素点对应的实例中心区域。

若上述第一像素点的中心预测位置不属于上述至少一个实例中心区域中的第一实例中心区域，则不将该像素点分配给上述第一实例中心区域，而是就近分配，将至少一个实例中心区域中与第一像素点的中心预测位置距离最近的实例中心区域确定为该第一像素点对应的实例中心区域。

本申请实施例在上述步骤202的输出可以有三个分支，第一个是语义判断分支，包含2个通道，以输出每个像素点位于实例区域或者背景区域；第二个是中心区域分支，包含2个通道，以输出每个像素点位于中心区域或者非中心区域；第三个是中心向量分支，包括2个通道，以输出每个像素点与实例中心之间的相对位置，具体可以包含像素点指向其所属实例的几何中心的向量横纵分量。

在本申请实施例中实例分割对象可以为细胞核，由于上述中心区域为一个细胞核的中心区域，在确定上述中心区域后，实际初步确定了细胞核的位置，可以为每个细胞核分配数字编号，即上述实例ID。

具体的，设输入的第二图片为[高，宽，3]的3通道图片，本申请实施例在步骤202可以得到三个[高，宽，2]的数组，依次为每个像素点的语义预测概率、中心区域预测概率和中心相对位置预测结果。然后，可以对上述中心区域预测概率进行门限值为0.5的二值化，再通过上述连通域搜索处理得到每个细胞核的中心区域，并且赋予其独立的数字编号，上述每个细胞分配的数字编号即为前述实例ID，以便于区分不同细胞核。

比如在步骤203中已经确定一个像素点a的语义预测结果为细胞核而非背景(确定其属于细胞核语义区域)，在步骤202中已经获得了该像素点a的中心向量，而第一中心区域为上述步骤204中获得的中心区域预测结果中的一个实例中心区域，若该像素点a的中心向量指向该第一中心区域，则说明该像素点a与该第一中心区域有对应关系，具体表现为，该像素点a属于该第一中心区域所在的细胞核A，第一中心区域为该细胞核A的中心区域。

以细胞分割为例，通过上述步骤，可以分割出细胞核与图像背景，具体可以对全部属于细胞核的像素点进行分配，确定每个像素点所属的细胞核、所属的细胞核中心区域或者所述的细胞核的中心，实现对细胞进行更精准的分割，获得精确的实例分割结果。

本申请实施例中使用中心向量来建模。FCN将部分实例收缩为边界类，然后使用针对性的后处理算法来修整边界所属实例的预测，每个像素点三类输出：背景、细胞核内部、细胞核边界，不能细致处理边界预测，相比之下，中心向量可以基于数据更精确的预测细胞核的边界状态，也无需复杂的专业后处理算法。MaskRCNN先通过矩形截取出每个独立实例的图像再进行细胞、背景的二类预测，但细胞表现为聚集在一起的多个不规则类椭圆形，矩形截取后一个实例处于中心，别的实例仍然部分处于边缘，无法避免的要包含别的实例的细胞在截取图片中，不利于接下来的二类分割，相比之下，通过上述中心向量建模方法也不会有这类问题，中心向量可以对于细胞核边界得出精确的预测，从而提高了整体预测精度。

使用本申请实施例中的中心向量方法，不仅运行速度快，可以达到每秒3图的处理量，而且无需从业人员较高的领域知识，就能在任意实例分割问题中获取一定标注数据后处理取得较好的结果。

本申请实施例可以应用于临床的辅助诊断中。医生在获得了病人的器官组织切片数字扫描图像后，可以将图像输入本申请实施例中的流程，得出每一个独立细胞核的像素点蒙版，医生可以以此为依据，计算该器官的细胞密度、细胞形态特征，进而得出更准确的医学判断。

本申请实施例通过对第二图像进行预处理，得到第一图像，以使得上述第一图像满足预设对比度和/或预设灰度值，对上述第一图像进行处理，获得上述第一图像中多个像素点的预测结果，上述预测结果包括语义预测结果、中心相对位置预测结果和中心区域预测结果，其中，上述语义预测结果指示上述像素点位于实例区域或背景区域，上述中心相对位置预测结果指示上述像素点与实例中心之间的相对位置，上述中心区域预测结果指示上述像素点是否位于实例中心区域，再基于上述多个像素点中每个像素点的语义预测结果，从上述多个像素点中确定位于实例区域的至少一个第一像素点，并且基于上述多个像素点中每个像素点的中心区域预测结果，确定上述第一图像的至少一个实例中心区域，基于上述至少一个第一像素点中每个第一像素点的中心相对位置预测结果，以及从上述至少一个实例中心区域中确定上述每个第一像素点对应的实例中心区域，实现实例的精准分割，可以使图像处理中的实例分割具备速度快、精度高的优点。

请参阅图3，图3是本申请实施例公开的一种细胞实例分割结果示意图，如图所示，以细胞实例分割为例，使用本申请实施例中的方法进行处理，同时具备速度快、精度高的特点。结合图3可以便于更清楚地理解图1和图2所述实施例中的方法。通过深度层级融合网络模型可以获得更准确的预测指标，使用已有数据集对其进行标注，前述实施例中的语义预测结果、中心区域预测结果和中心相对位置预测结果，体现在图3中分别包括对像素点A、像素点B、像素点C和像素点D的语义标注、中心标注和中心向量标注。如图所示一个细胞核可包括细胞核语义区域和细胞核中心区域，针对图中像素点，若像素点的语义标注为1，说明该像素点属于细胞核，为0则为图像背景；若像素点的中心标注为1则说明该像素点为细胞核区域的中心，此时该像素点的中心向量标注为(0,0)，可作为其他像素点的参考(比如图中的像素点A和像素点D，像素点A的确定也可以代表一个细胞核的确定)。每个像素点都对应一个坐标，而中心向量标注则是像素点相对于细胞核中心的像素点的坐标，比如像素点B相对于像素点A的中心向量标注为(-5，-5)，而属于中心的像素点的中心向量标注则为(0,0)，比如像素点A和像素点D。在本申请实施例中可以判断出上述像素点B属于上述像素点A所属的细胞核中心区域，即将像素点B分配给像素点A所属的细胞核区域，但不在该中心区域内而是在上述细胞核语义区域内，类似地完成全部分割过程，获得精确的细胞实例分割结果。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

请参阅图4，图4是本申请实施例公开的一种电子设备的结构示意图。如图4所示，该电子设备400包括：预测模块410和分割模块420，其中：

所述预测模块410，用于对第一图像进行处理，获得所述第一图像中多个像素点的预测结果，所述预测结果包括语义预测结果和中心相对位置预测结果，其中，所述语义预测结果指示所述像素点位于实例区域或背景区域，所述中心相对位置预测结果指示所述像素点与实例中心之间的相对位置。

所述分割模块420，用于基于所述多个像素点中每个像素点的语义预测结果和中心相对位置预测结果，确定所述第一图像的实例分割结果。

可选的，所述电子设备400还包括预处理模块430，用于对第二图像进行预处理，得到所述第一图像，以使得所述第一图像满足预设对比度和/或预设灰度值。

可选的，所述分割模块420包括第一单元421和第二单元422，其中：

所述第一单元421，用于基于所述多个像素点中每个像素点的语义预测结果，从所述多个像素点中确定位于实例区域的至少一个第一像素点；

所述第二单元422，用于基于所述至少一个第一像素点中每个第一像素点的中心相对位置预测结果，确定所述每个第一像素点所属的实例。

可选的，所述预测结果还包括：中心区域预测结果，所述中心区域预测结果指示所述像素点是否位于实例中心区域，

所述分割模块420还包括第三单元423，用于基于所述多个像素点中每个像素点的中心区域预测结果，确定所述第一图像的至少一个实例中心区域；

所述第二单元422具体用于，基于所述至少一个第一像素点中每个第一像素点的中心相对位置预测结果，从所述至少一个实例中心区域中确定所述每个第一像素点对应的实例中心区域。

可选的，所述第三单元423具体用于，基于所述多个像素点中每个像素点的中心区域预测结果，对所述第一图像进行连通域搜索处理，得到至少一个实例中心区域。

可选的，所述第二单元422具体用于：

基于所述第一像素点的位置信息和所述第一像素点的中心相对位置预测结果，确定所述第一像素点的中心预测位置；

基于所述第一像素点的中心预测位置和所述至少一个实例中心区域的位置信息，从所述至少一个实例中心区域中确定所述第一像素点对应的实例中心区域。

可选的，所述第二单元422具体用于：

响应于所述第一像素点的中心预测位置属于所述至少一个实例中心区域中的第一实例中心区域，将所述第一实例中心区域确定为所述第一像素点对应的实例中心区域。

可选的，所述第二单元422具体用于：

响应于所述第一像素点的中心预测位置不属于所述至少一个实例中心区域中的任意实例中心区域，将所述至少一个实例中心区域中与所述第一像素点的中心预测位置距离最近的实例中心区域确定为所述第一像素点对应的实例中心区域。

可选的，所述预测模块410包括概率预测单元411和判断单元412，其中：

所述概率预测单元411，用于对所述第一图像进行处理，得到所述第一图像中多个像素点的中心区域预测概率；

所述判断单元412，用于基于第一阈值对所述多个像素点的中心区域预测概率进行二值化处理，得到所述多个像素点中每个像素点的中心区域预测结果。

可选的，所述预测模块410具体用于，将第一图像输入到神经网络进行处理，输出所述第一图像中多个像素点的预测结果。

本申请实施例中使用中心向量来建模。FCN将部分实例收缩为边界类，然后使用针对性的后处理算法来修整边界所属实例的预测，每个像素点三类输出：背景、细胞核内部、细胞核边界，不能细致处理边界预测，相比之下，中心向量可以基于数据更精确的预测细胞核的边界状态，也无需复杂的专业后处理算法。MaskRCNN先通过矩形截取出每个独立实例的图像再进行细胞、背景的二类预测，但细胞表现为聚集在一起的多个不规则类椭圆形，矩形截取后一个实例处于中心，别的实例仍然部分处于边缘，无法避免的要包含别的实例的细胞在截取图片中，不利于接下来的二类分割，相比之下，通过电子设备400执行上述中心向量建模方法也不会有这类问题，中心向量可以对于细胞核边界得出精确的预测，从而提高了整体预测精度。

使用本申请实施例中的电子设备400，可以实现前述图1和图2实施例中的图像处理方法，通过中心向量方法进行实例分割，不仅运行速度快，可以达到每秒3图的处理量，而且无需从业人员较高的领域知识，就能在任意实例分割问题中获取一定标注数据后处理取得较好的结果。

实施图4所示的电子设备400，电子设备400可以通过对第一图像进行处理，获得上述第一图像中多个像素点的预测结果，上述预测结果包括语义预测结果和中心相对位置预测结果，其中，上述语义预测结果指示上述像素点位于实例区域或背景区域，上述中心相对位置预测结果指示上述像素点与实例中心之间的相对位置，基于上述多个像素点中每个像素点的语义预测结果和中心相对位置预测结果，确定上述第一图像的实例分割结果，可以使图像处理中的实例分割具备速度快、精度高的优点。

请参阅图5，图5是本申请实施例公开的另一种电子设备的结构示意图。如图5所示，该电子设备500包括处理器501和存储器502，其中，电子设备500还可以包括总线503，处理器501和存储器502可以通过总线503相互连接，总线503可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线503可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，电子设备500还可以包括输入输出设备504，输入输出设备504可以包括显示屏，例如液晶显示屏。存储器502用于存储计算机程序；处理器501用于调用存储在存储器502中的计算机程序执行上述图1和图2实施例中提到的部分或全部方法步骤。

实施图5所示的电子设备500，电子设备500可以通过对第一图像进行处理，获得上述第一图像中多个像素点的预测结果，上述预测结果包括语义预测结果和中心相对位置预测结果，其中，上述语义预测结果指示上述像素点位于实例区域或背景区域，上述中心相对位置预测结果指示上述像素点与实例中心之间的相对位置，基于上述多个像素点中每个像素点的语义预测结果和中心相对位置预测结果，确定上述第一图像的实例分割结果，可以使图像处理中的实例分割具备速度快、精度高的优点。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质用于存储计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元(模块)可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (22)

1.一种图像处理方法，其特征在于，所述方法包括：

对第一图像进行处理，获得所述第一图像中多个像素点的预测结果，所述预测结果包括语义预测结果和中心相对位置预测结果，其中，所述语义预测结果指示所述像素点位于实例区域或背景区域，所述中心相对位置预测结果指示所述像素点与实例中心之间的相对位置；

基于所述多个像素点中每个像素点的语义预测结果和中心相对位置预测结果，确定所述第一图像的实例分割结果。

2.根据权利要求1所述的图像处理方法，其特征在于，在对第一图像进行处理之前，还包括：

对第二图像进行预处理，得到所述第一图像，以使得所述第一图像满足预设对比度和/或预设灰度值。

3.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述多个像素点中每个像素点的语义预测结果和中心相对位置预测结果，确定所述第一图像的实例分割结果，包括：

基于所述多个像素点中每个像素点的语义预测结果，从所述多个像素点中确定位于实例区域的至少一个第一像素点；

基于所述至少一个第一像素点中每个第一像素点的中心相对位置预测结果，确定所述每个第一像素点所属的实例。

4.根据权利要求3所述的图像处理方法，其特征在于，所述预测结果还包括：中心区域预测结果，所述中心区域预测结果指示所述像素点是否位于实例中心区域，

所述方法还包括：

基于所述多个像素点中每个像素点的中心区域预测结果，确定所述第一图像的至少一个实例中心区域；

所述基于所述至少一个第一像素点中每个第一像素点的中心相对位置预测结果，确定所述每个第一像素点所属的实例，包括：

基于所述至少一个第一像素点中每个第一像素点的中心相对位置预测结果，从所述至少一个实例中心区域中确定所述每个第一像素点对应的实例中心区域。

5.根据权利要求4所述的图像处理方法，其特征在于，所述基于所述多个像素点中每个像素点的中心区域预测结果，确定所述第一图像的至少一个实例中心区域，包括：

基于所述多个像素点中每个像素点的中心区域预测结果，对所述第一图像进行连通域搜索处理，得到至少一个实例中心区域。

6.根据权利要求4所述的图像处理方法，其特征在于，所述基于所述至少一个第一像素点中每个第一像素点的中心相对位置预测结果，从所述至少一个实例中心区域中确定所述每个第一像素点对应的实例中心区域，包括：

基于所述第一像素点的位置信息和所述第一像素点的中心相对位置预测结果，确定所述第一像素点的中心预测位置；

基于所述第一像素点的中心预测位置和所述至少一个实例中心区域的位置信息，从所述至少一个实例中心区域中确定所述第一像素点对应的实例中心区域。

7.根据权利要求6所述的图像处理方法，其特征在于，所述基于所述第一像素点的中心预测位置和所述至少一个实例中心区域的位置信息，从所述至少一个实例中心区域中确定所述第一像素点对应的实例中心区域，包括：

响应于所述第一像素点的中心预测位置属于所述至少一个实例中心区域中的第一实例中心区域，将所述第一实例中心区域确定为所述第一像素点对应的实例中心区域。

8.根据权利要求6所述的图像处理方法，其特征在于，所述基于所述第一像素点的中心预测位置和所述至少一个实例中心区域的位置信息，从所述至少一个实例中心区域中确定所述第一像素点对应的实例中心区域，包括：

响应于所述第一像素点的中心预测位置不属于所述至少一个实例中心区域中的任意实例中心区域，将所述至少一个实例中心区域中与所述第一像素点的中心预测位置距离最近的实例中心区域确定为所述第一像素点对应的实例中心区域。

9.根据权利要求4-8任一项所述的图像处理方法，其特征在于，所述对第一图像进行处理，获得所述第一图像中多个像素点的预测结果，包括：

对所述第一图像进行处理，得到所述第一图像中多个像素点的中心区域预测概率；

基于第一阈值对所述多个像素点的中心区域预测概率进行二值化处理，得到所述多个像素点中每个像素点的中心区域预测结果。

10.根据权利要求1-8任一项所述的图像处理方法，其特征在于，所述对第一图像进行处理，获得所述第一图像中多个像素点的预测结果，包括：

将第一图像输入到神经网络进行处理，输出所述第一图像中多个像素点的预测结果。

11.一种电子设备，其特征在于，包括：预测模块和分割模块，其中：

所述预测模块，用于对第一图像进行处理，获得所述第一图像中多个像素点的预测结果，所述预测结果包括语义预测结果和中心相对位置预测结果，其中，所述语义预测结果指示所述像素点位于实例区域或背景区域，所述中心相对位置预测结果指示所述像素点与实例中心之间的相对位置；

所述分割模块，用于基于所述多个像素点中每个像素点的语义预测结果和中心相对位置预测结果，确定所述第一图像的实例分割结果。

12.根据权利要求11所述的电子设备，其特征在于，还包括预处理模块，用于对第二图像进行预处理，得到所述第一图像，以使得所述第一图像满足预设对比度和/或预设灰度值。

13.根据权利要求11所述的电子设备，其特征在于，所述分割模块包括第一单元和第二单元，其中：

所述第一单元，用于基于所述多个像素点中每个像素点的语义预测结果，从所述多个像素点中确定位于实例区域的至少一个第一像素点；

所述第二单元，用于基于所述至少一个第一像素点中每个第一像素点的中心相对位置预测结果，确定所述每个第一像素点所属的实例。

14.根据权利要求13所述的电子设备，其特征在于，所述预测结果还包括：中心区域预测结果，所述中心区域预测结果指示所述像素点是否位于实例中心区域，

所述分割模块还包括第三单元，用于基于所述多个像素点中每个像素点的中心区域预测结果，确定所述第一图像的至少一个实例中心区域；

所述第二单元具体用于，基于所述至少一个第一像素点中每个第一像素点的中心相对位置预测结果，从所述至少一个实例中心区域中确定所述每个第一像素点对应的实例中心区域。

15.根据权利要求14所述的电子设备，其特征在于，所述第三单元具体用于，基于所述多个像素点中每个像素点的中心区域预测结果，对所述第一图像进行连通域搜索处理，得到至少一个实例中心区域。

16.根据权利要求14所述的电子设备，其特征在于，所述第二单元具体用于：

基于所述第一像素点的位置信息和所述第一像素点的中心相对位置预测结果，确定所述第一像素点的中心预测位置；

基于所述第一像素点的中心预测位置和所述至少一个实例中心区域的位置信息，从所述至少一个实例中心区域中确定所述第一像素点对应的实例中心区域。

17.根据权利要求16所述的电子设备，其特征在于，所述第二单元具体用于：

响应于所述第一像素点的中心预测位置属于所述至少一个实例中心区域中的第一实例中心区域，将所述第一实例中心区域确定为所述第一像素点对应的实例中心区域。

18.根据权利要求16所述的电子设备，其特征在于，所述第二单元具体用于：

响应于所述第一像素点的中心预测位置不属于所述至少一个实例中心区域中的任意实例中心区域，将所述至少一个实例中心区域中与所述第一像素点的中心预测位置距离最近的实例中心区域确定为所述第一像素点对应的实例中心区域。

19.根据权利要求14-18任一项所述的电子设备，其特征在于，所述预测模块包括概率预测单元和判断单元，其中：

所述概率预测单元，用于对所述第一图像进行处理，得到所述第一图像中多个像素点的中心区域预测概率；

所述判断单元，用于基于第一阈值对所述多个像素点的中心区域预测概率进行二值化处理，得到所述多个像素点中每个像素点的中心区域预测结果。

20.根据权利要求11-18任一项所述的电子设备，其特征在于，所述预测模块具体用于，将第一图像输入到神经网络进行处理，输出所述第一图像中多个像素点的预测结果。

21.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序被配置成由所述处理器执行，所述处理器用于执行如权利要求1-10任一项所述的方法。

22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-10任一项所述的方法。

Images