CN112884782B - 生物对象分割方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种生物对象分割方法、装置、计算机设备和存储介质。所述方法包括：获取待进行生物对象分割的目标图像；将所述目标图像输入到已训练的特征提取模型中进行特征提取，得到目标特征图；根据所述目标特征图以及已训练的分割模型进行图像分割，得到包括生物对象的目标分割区域；从所述目标特征图中获取所述目标分割区域所对应的分割特征图；将所述分割特征图输入到已训练的生物对象分割质量评估模型进行质量评估，得到所述目标分割区域对应的分割可能度；基于所述分割可能度确定所述目标图像的生物对象分割结果。采用本方法能够提高图像分割准确度。

Description

生物对象分割方法、装置、计算机设备和存储介质

技术领域

本申请涉及生物检测技术领域，特别是涉及一种生物对象分割方法、装置、计算机设备和存储介质。

背景技术

随着医学技术的发展，在很多情况下都需要获取生物对象的图像，以对图像中的生物对象进行检测，例如获取包括生物对象的图像，并分割出其中的生物对象。

传统技术中，通常是基于阈值的方法对生物对象图像进行分割，然而经常存在分割得到的生物对象不准确的情况，导致图像分割准确度低。

发明内容

基于此，有必要针对上述技术问题，提供一种生物对象分割方法、装置、计算机设备和存储介质。

一种生物对象分割方法，所述方法包括：获取待进行生物对象分割的目标图像；将所述目标图像输入到已训练的特征提取模型中进行特征提取，得到目标特征图；根据所述目标特征图以及已训练的分割模型进行图像分割，得到包括生物对象的目标分割区域；从所述目标特征图中获取所述目标分割区域所对应的分割特征图；将所述分割特征图输入到已训练的生物对象分割质量评估模型进行质量评估，得到所述目标分割区域对应的分割可能度；基于所述分割可能度确定所述目标图像的生物对象分割结果。

一种生物对象分割装置，所述装置包括：目标图像获取模块，用于获取待进行生物对象分割的目标图像；特征提取模块，用于将所述目标图像输入到已训练的特征提取模型中进行特征提取，得到目标特征图；目标分割区域得到模块，用于根据所述目标特征图以及已训练的分割模型进行图像分割，得到包括生物对象的目标分割区域；分割特征图获取模块，用于从所述目标特征图中获取所述目标分割区域所对应的分割特征图；分割可能度得到模块，用于将所述分割特征图输入到已训练的生物对象分割质量评估模型进行质量评估，得到所述目标分割区域对应的分割可能度；生物对象分割结果确定模块，用于基于所述分割可能度确定所述目标图像的生物对象分割结果。

在一些实施例中，所述目标分割区域得到模块包括：生物对象区域确定单元，用于将所述目标特征图输入到已训练的生物对象检测模型中，确定包括生物对象的生物对象区域；生物对象特征图获取单元，用于从所述目标特征图中获取所述生物对象区域所对应的生物对象特征图；目标分割区域得到单元，用于将所述生物对象特征图输入到已训练的分割模型进行图像分割，分割得到包括所述生物对象的目标分割区域。

在一些实施例中，所述目标分割区域得到单元用于：将所述生物对象特征图输入到已训练的分割模型中，所述分割模型输出所述生物对象区域中各个像素点属于生物对象的概率；基于各个所述像素点属于生物对象的概率分割得到包括所述生物对象的目标分割区域。

在一些实施例中，所述分割可能度得到模块用于：通过所述区域检测概率对所述分割可能度进行调整，得到调整后的分割可能度；当调整后的分割可能度大于第一概率阈值时，确定所述目标分割区域为生物对象所在的图像区域。

在一些实施例中，所述装置还包括标注模块，用于：获取调整后的分割可能度大于第一概率阈值的目标分割区域，组成当前对象区域集合；获取当前对象区域集合中调整后的分割可能度最大的对象区域，作为对比对象区域；获取所述对比对象区域与当前对象区域集合中其他对象区域的区域重合度；从当前对象区域集合中滤除区域重合度大于重合度阈值的其他对象区域，得到更新的当前对象区域集合；重复获取当前对象区域集合中调整后的分割可能度最大的对象区域，作为对比对象区域的步骤，直至对象区域获取完毕，基于当前对象区域集合所包括的对象区域对所述目标图像进行标注，得到标注后的目标图像。

在一些实施例中，所述特征提取模型是通过目标训练图像训练得到的，得到所述目标训练图像的模块包括：初始训练图像以及生物对象图像获取单元，用于获取初始训练图像以及生物对象图像；融合单元，用于将所述生物对象图像与所述初始训练图像进行融合，将融合得到的图像作为所述目标训练图像。

在一些实施例中，所述融合单元用于：获取所述初始训练图像对应的融合区域；将所述生物对象图像覆盖在所述融合区域上，得到所述目标训练图像。

在一些实施例中，所述融合单元用于：获取所述初始训练图像对应的融合区域；将所述融合区域各个像素点对应的像素值，与所述生物对象图像中对应位置的像素点的像素值进行加权，得到加权像素值；利用所述加权像素值替换所述融合区域的像素值，得到所述目标训练图像。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取待进行生物对象分割的目标图像；将所述目标图像输入到已训练的特征提取模型中进行特征提取，得到目标特征图；根据所述目标特征图以及已训练的分割模型进行图像分割，得到包括生物对象的目标分割区域；从所述目标特征图中获取所述目标分割区域所对应的分割特征图；将所述分割特征图输入到已训练的生物对象分割质量评估模型进行质量评估，得到所述目标分割区域对应的分割可能度；基于所述分割可能度确定所述目标图像的生物对象分割结果。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取待进行生物对象分割的目标图像；将所述目标图像输入到已训练的特征提取模型中进行特征提取，得到目标特征图；根据所述目标特征图以及已训练的分割模型进行图像分割，得到包括生物对象的目标分割区域；从所述目标特征图中获取所述目标分割区域所对应的分割特征图；将所述分割特征图输入到已训练的生物对象分割质量评估模型进行质量评估，得到所述目标分割区域对应的分割可能度；基于所述分割可能度确定所述目标图像的生物对象分割结果。

上述生物对象分割方法、装置、计算机设备和存储介质，通过特征提取模型提取得到目标特征图之后，基于分割模型进行图像分割，得到包括生物对象的区域，再基于分割区域的分割特征图以及生物对象分割质量评估模型确定该分割区域的分割可能度，基于分割可能度确定目标图像的生物对象分割结果，从而使得对生物对象的分割更加准确，提高了图像分割准确度。

附图说明

图1为一些实施例中生物对象分割方法的应用环境图；

图2为一些实施例中生物对象分割方法的流程示意图；

图3为一些实施例中得到分割特征图的示意图；

图4为一些实施例中根据目标特征图以及已训练的分割模型进行图像分割，得到包括生物对象的目标分割区域的流程示意图；

图5为一些实施例中目标模型的示意图；

图6为一些实施例中得到目标训练图像的示意图；

图7为一些实施例中生物对象分割装置的结构框图；

图8为一些实施例中目标分割区域得到模块的结构框图；

图9为一些实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的生物对象分割方法，可以应用于如图1所示的应用环境中。包括显微镜110、图像拍摄设备120、终端130以及服务器140。显微镜110上包括物镜112、载物台114以及目镜116，涂有生物对象的生物对象涂片平整放置于载物台114上，物镜112用于以不同的焦距对焦包括生物对象的涂片，例如生物对象涂片，目镜116用于观察进入物镜112的映像，包括图像传感器的图像拍摄设备120设置于物镜上，即位于显微镜的镜筒上方。终端130例如可以是电脑，图像拍摄设备的接口接入终端130，图像拍摄设备例如相机可以实时拍摄，终端130可以与图像拍摄设备以及显微镜信号连接，例如可以通过网络进行连接，通过终端130控制图像拍摄设备进行拍摄，拍摄得到的图像发送给终端130，终端130可以通过网络向服务器140发送拍摄得到的图像，服务器140执行本申请实施例的方法，得到目标图像的生物对象分割结果，服务器140可以向终端返回生物对象分割结果，终端130可以展示进行图像分割后的目标图像，例如展示包括生物对象的图像，该图像对生物对象所在的位置进行了标注。

可以理解，本申请实施例提供的生物对象分割方法仅是一个实施例，在一些场景中，也可以由终端执行生物对象分割方法。或者服务器中可以预先存储目标图像。

其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一些实施例中，如图2所示，提供了一种生物对象分割方法，以该方法应用于图1中的计算机设备例如终端或者服务器为例进行说明，包括以下步骤：

步骤S202，获取待进行生物对象分割的目标图像。

其中，生物对象是指生物体中的对象，生物体可以是人、动物或者植物。生物对象例如可以是染色体。目标图像可以是实时获取的，也可以是预先存储的。目标图像中可以包括一个或者多个生物对象，例如可以是通过相机拍摄显微镜下成像的生物对象，得到包括生物对象的目标图像。

生物对象分割是指从图像中标注出生物对象所在的像素点，图像分割的过程也是一个标记过程，即把属于同一区域的像素点赋予相同的标识，例如生物对象的标识。举个例子，计算机设备进行生物对象分割后，图像中属于同一生物对象的像素点可以标记为该生物对象的标识。当然，在标记时，也可以标记处于生物对象的边缘的像素点，即可以标记生物对象轮廓所对应的像素点，表示该轮廓所包围的位置为生物对象所在的位置。

具体地，计算机设备可以获取预先存储的图像，作为待进行生物对象分割的图像。计算机设备也可以获取实时拍摄得到目标图像，作为待进行生物对象分割的目标图像。例如，服务器可以接收终端发送的生物对象分割请求，该分割请求中携带待进行生物对象分割的目标图像，服务器响应于该请求，提取该请求中携带的目标图像。

步骤S204，将目标图像输入到已训练的特征提取模型中进行特征提取，得到目标特征图。

其中，特征提取模型用于对目标图像进行特征提取，以得到表示目标图像的内容的特征图(feature map)，即目标特征图，目标特征图包括多个特征值。特征提取模型例如可以是基于卷积神经网络的深度学习模型。特征提取模型可以包括残差网络模块以及多尺度特征模块，残差网络模块(ResNet)通过residual mapping(残差映射)技术，可以使得梯度传导的更快。多尺度特征模块(feature pyramid networks，FPN)通过多尺度特征的融合，能够加强主干网络的特征表示，增加网络对不同尺度物体的适应性。特征提取模型是已经经过有监督的训练得到的机器学习模型。

具体地，计算机设备可以将目标图像输入到已训练的特征提取模型中，特征提取模型可以利用卷积层对图像进行特征提取，得到卷积输出的特征后，可以将卷积输出的特征与输入到卷积层的特征相加，得到相加的特征，相加的特征可以作为目标特征图，通过将卷积输出的特征与输入到卷积层的特征相加，可以提高梯度传导的效率。相加的特征也可以经过多尺度特征模块，得到多种不同的特征，从而提高对不同图像的适应性。

步骤S206，根据目标特征图以及已训练的分割模型进行图像分割，得到包括生物对象的目标分割区域。

其中，分割模型用于确定图像的各个像素点为生物对象所在的像素点的概率，分割模型可以是深度学习模型，例如基于VGG(Visual Geometry Group)的模型。可以基于像素点为生物对象所在的像素点的概率确定该像素点是否为生物对象所在的像素点，例如，当概率大于预设的概率阈值时，确定该像素点为生物对象所在的像素点，否则，该像素点不是生物对象所在的像素点。

具体地，可以将目标特征图输入到分割模型中，得到目标图像中各个像素点为生物对象所在的像素点的概率，基于概率与概率阈值的大小关系确定像素点是否是生物对象所在的像素点，可以将生物对象所在的像素点所形成的连续区域作为目标分割区域。举个例子，对于概率大于概率阈值的像素点，取其对应的值为1，对于概率小于等于概率阈值的像素点，取其对应的值为0，则可以将数值1所在的连续区域作为生物对象所在的分割区域。分割区域包括多个像素点，例如分割区域的像素点的个数大于生物对象的像素点数量阈值。生物对象的像素点数量阈值是生物对象对应的最小的像素点数量。

在一些实施例中，可以将目标特征图输入到检测模型中进行检测，得到包括生物对象的区域，再将包括生物对象的区域所对应的特征图输入到分割模型中进行分割，从而有针对性的进行分割，提高分割的效率以及准确度。

步骤S208，从目标特征图中获取目标分割区域所对应的分割特征图。

其中，分割特征图是目标特征图中，目标分割区域所对应的特征区域。分割特征图是对目标分割区域的像素点的像素值进行特征提取得到的。

具体地，得到目标分割区域后，计算机设备可以获取目标特征图中，目标分割区域的像素点所对应的特征图区域，作为分割特征图。例如，假设目标图像302得到目标分割区域为A，如图3所示，目标特征图304中的特征图区域B为根据目标分割区域A的像素值提取得到的特征值所在的区域，则B为分割特征图。

步骤S210，将分割特征图输入到已训练的生物对象分割质量评估模型进行质量评估，得到目标分割区域对应的分割可能度。

其中，生物对象分割质量评估模型是用于对分割区域的分割质量进行评估的模型。生物对象分割质量评估模型可以是二分类模型，生物对象分割质量评估模型输出的可以是该目标分割区域是否包括生物对象的概率，即分割可能度可以是目标分割区域包括生物对象的概率，该概率可以表示分割区域的分割质量。当概率大于概率阈值时，则确定目标分割区域包括生物对象。生物对象分割质量评估模型可以是预先经过有监督的训练的模型，可以是深度学习模型。

具体地，计算机设备将分割特征图输入到生物对象分割质量评估模型中进行处理，生物对象分割质量评估模型输出对应的概率，该概率为目标分割区域包括生物对象的概率，作为分割可能度。

步骤S212，基于分割可能度确定目标图像的生物对象分割结果。

具体地，生物对象分割结果是确定目标图像中生物对象所对应的像素点的结果。可以是当生物对象分割质量评估模型输出的概率大于预设的概率阈值时，则确定目标分割区域的像素点为生物对象所在的像素点。当生物对象分割质量评估模型输出的概率小于预设的概率阈值时，则确定目标分割区域的像素点不是生物对象的像素点。当然，也可以结合其他数据确定目标分割区域的像素点是不是生物对象的像素点，例如可以结合检测模型输出的概率确定目标图像的生物对象分割结果。

上述生物对象分割方法中，通过特征提取模型提取得到目标特征图之后，基于分割模型进行图像分割，得到包括生物对象的区域，再基于分割区域的分割特征图以及生物对象分割质量评估模型确定该分割区域的分割可能度，基于分割可能度确定目标图像的生物对象分割结果，从而使得对生物对象的分割更加准确，提高了图像分割准确度。

在一些实施例中，如图4所示，根据目标特征图以及已训练的分割模型进行图像分割，得到包括生物对象的目标分割区域包括：

步骤S402，将目标特征图输入到已训练的生物对象检测模型中，确定包括生物对象的生物对象区域。

其中，生物对象检测模型是用于检测图像中包括生物对象所对应的区域的模型，生物对象检测模型可以输出目标图像中，各个候选区域包括生物对象的概率，可以将大于预设的概率阈值的区域作为包括生物对象的区域。生物对象检测模型可以是深度学习模型。通过生物对象检测模型，可以进行定位偏差的矫正。

具体地，计算机设备将目标特征图输入到生物对象检测模型中，生物对象检测模型中的检测窗口在目标特征图中进行滑动，基于窗口中的特征值确定该窗口对应的图像区域包括生物对象的概率，如果该概率大于预设的概率阈值，则可以确定窗口中对应的图像区域包括生物对象，即为生物对象区域。否则，为不包括生物对象。可以理解，预设的概率阈值可以根据需要设置，在确定分割区域、分割可能度以及生物对象区域的概率阈值可以不同，也可以相同。

在一些实施例中，生物对象检测模型可以是多分类模型，可以输出各个生物对象所属的类别。例如，当生物对象为染色体时，可以输出图像中的染色体的类别，例如是属于1号染色体还是2号染色体。

在一些实施例中，在确定真正包括生物对象的目标分割区域之后，可以对目标图像进行标注，即在目标图像中标注出生物对象的区域。在标注时，如果生物对象检测模型输出了生物对象的类别，则还可以基于生物对象的类别进行标注，例如可以在目标图像上标注生物对象的类别，例如是在1号染色体上对应标注“1号”，在2号染色体上对应标注“2号”。还可以基于生物对象的类别确定生物对象的标注形式，例如对于1号染色体，则标注框为绿色，对于2号染色体，则标注框为红色。

在一些实施例中，还可以采用NMS(Non-Maximum Suppression，非极大值抑制)方式去除生物对象检测模型输出的多余的重叠区域，例如可以获取概率最大的生物对象区域，获取该生物对象区域与其他生物对象区域的重合度，如果重合度大于阈值例如0.3，则去除该其他生物对象区域。

在一些实施例中，还可以采用NMS(Non-Maximum Suppression，非极大值抑制)方式去除生物对象分割模型输出的多余的重叠区域，可以获取概率最大的目标分割区域，获取该目标分割区域与其他目标分割区域的重合度，如果重合度大于阈值例如0.8，则去除该其他目标分割区域。

步骤S404，从目标特征图中获取生物对象区域所对应的生物对象特征图。

具体地，得到生物对象区域后，可以从目标特征图中获取得到生物对象区域对应的特征值所形成的特征图区域，作为生物对象特征图。即生物对象特征图是目标特征图中，得到生物对象区域的概率值的特征图区域。

步骤S406，将生物对象特征图输入到已训练的分割模型进行图像分割，分割得到包括生物对象的目标分割区域。

具体地，目标分割区域是生物对象区域的子区域，得到生物对象特征图之后，可以将该特征图输入到已训练的分割模型中进行图像分割，分割模型输出各个生物对象区域中的各个像素点为生物对象的像素点的概率，当该概率大于预设的概率阈值时，则将该像素点作为生物对象所在的像素点。当包括生物对象的生物对象区域有多个时，是将每个生物对象区域所对应的生物对象特征图分别输入到分割模型中进行分割。

本申请实施例中，通过先将目标特征图输入到生物对象检测模型中进行检测，输出包括生物对象的图像区域，再获取该图像区域的特征图进行分割，可以提高图像分割的针对性。

在一些实施例中，将生物对象特征图输入到已训练的分割模型进行图像分割，分割得到包括生物对象的目标分割区域包括：将生物对象特征图输入到已训练的分割模型中，分割模型输出生物对象区域中各个像素点属于生物对象的概率；基于各个像素点属于生物对象的概率分割得到包括生物对象的目标分割区域。

具体地，分割模型输出的是生物对象区域中各个像素点属于生物对象所在的像素点的概率，当该概率大于概率阈值时，则确定该像素点为生物对象所在的像素点，可以是当一个大于预设尺寸的区域中，属于生物对象的像素点的数量超过数量阈值或者比例超过比例阈值时，则该区域为包括生物对象的目标分割区域。

举个例子，假设生物对象区域为200*200个像素的区域，进行分割后，假设得到第3行第6个像素点到第30行第80个像素点所形成的矩形区域中，属于生物对象的像素点的数量的比例大于90％，则该矩形区域为包括生物对象的目标分割区域。

在一些实施例中，分割可能度为目标分割区域为生物对象所在的区域的分割可能度，生物对象区域是基于生物对象检测模型输出的区域检测概率得到的，基于分割可能度确定目标图像的生物对象分割结果包括：通过区域检测概率对分割可能度进行调整，得到调整后的分割可能度；当调整后的分割可能度大于第一概率阈值时，确定目标分割区域为生物对象所在的图像区域。

其中，区域检测概率是指该区域属于生物对象所在的区域的概率。调整可以是相乘或者相加。调整可以是直接调整，例如将区域检测概率与分割可能度相乘，得到调整后的分割可能度。调整也可以是间接调整，例如可以是基于区域检测概率确定调整值，将分割可能度与该调整值相加，得到调整后的概率。其中可以预先设置区域检测概率与调整值的对应关系，该对应关系为正相关关系，即区域检测概率越大，调整值越大，从而使得区域检测概率对分割结果的调整是正向调整关系，使得调整后的分割可能度更加准确。

第一概率阈值可以根据需要设置，例如可以是0.8，当调整后的分割可能度大于第一概率阈值时，则可以确定该目标分割区域为生物对象所在的图像区域。否则，可以确定该目标分割区域不是生物对象所在的图像区域，通过基于区域检测概率对分割可能度进行调整，能够综合检测模型输出的概率值确定分割结果，从而使得分割的更加准确。

在一些实施例中，也可以将分割可能度与目标分割区域中的各个像素点对应的分割模型输出的概率相乘，得到相乘后的分割概率，如果相乘后的分割概率大于预设的概率阈值，则可以确定该像素点为生物对象所在的像素点，说明可以进行染色体核型的分割。否则，不是染色体所在的像素点。从而可以从目标分割区域中去除部分不是染色体的像素点，使得图像分割更加精细。

在一些实施例中，生物对象分割方法还包括以下步骤：获取调整后的分割可能度大于第一概率阈值的目标分割区域，组成当前对象区域集合；获取当前对象区域集合中调整后的分割可能度最大的对象区域，作为对比对象区域；获取对比对象区域与当前对象区域集合中其他对象区域的区域重合度；从当前对象区域集合中滤除区域重合度大于重合度阈值的其他对象区域，得到更新的当前对象区域集合；重复获取当前对象区域集合中调整后的分割可能度最大的对象区域，作为对比对象区域的步骤，直至对象区域获取完毕，基于当前对象区域集合所包括的对象区域对目标图像进行标注，得到标注后的目标图像。

具体地，当前对象区域集合中的对象区域是目标分割区域中，调整后的分割可能度大于第一概率阈值的区域。即对于一个目标图像，目标分割区域可以有多个，从中选择调整后的分割可能度大于第一概率阈值的目标分割区域，组成当前对象区域集合。

区域重合度是两个区域之间的重合度，可以获取两个区域之间的区域重合面积，除以两个区域的总面积，得到区域重合度，举个例子，假设对于A区域以及B区域，A区域中有50个像素点，B区域中有70个像素点，A区域与B区域之间有20个像素点是重合的，则A区域与B区域的总面积为50+70-20＝100个像素点，则区域重合度为20/100＝0.2。

在对当前对象区域集合进行滤除时，从调整后的分割可能度最大的对象区域开始进行滤除，通过滤除，可以避免将同一个染色体所在的区域识别为多个区域，导致对同一个染色体进行多次标注的情况。举个例子，假设当前对象区域集合有5个对象区域，根据调整后的分割可能度做排序，假设从小到大的可能度为A、B、C、D、E。则从最大可能度的区域E开始，分别判断A～D分别与E的重叠度是否大于设定的重合度阈值，假设A以及D这两个区域与E的重叠度超过重合度阈值，那么滤除掉A以及D；并标记E为保留下来的对象区域。然后从剩下的矩形框B、C中，选择概率最大的C，然后判断C与B的重合度，如果重合度大于设定的重合度阈值那么就滤除掉B；并标记C是保留下来的第二个对象区域，从而最后更新得到的当前对象区域集合包括C以及E，即C与E是真正的包括生物对象的区域，从而在目标图像中对C区域以及E区域进行标记,从而减少在目标图像中标记A、C、D，导致图像中存在重复的标注信息的情况。

如图5所示，为一些实施例中目标模型的示意图，特征提取模型、生物对象检测模型、分割模型以及生物对象分割质量评估模型是联合训练得到的，联合起来得到用于图像分割的目标模型，对于一个待分割的图像，先输入到特征提取模型中进行提取，得到目标特征图，目标特征图输入到生物对象检测模型中进行检测，以生物对象为染色体为例，则可以得到包括染色体的生物对象区域，从而可以获取该生物对象区域所对应的生物对象特征图，输入到分割模型进行图像分割，分割得到包括生物对象的目标分割区域，然后从目标特征图中获取目标分割区域所对应的分割特征图，将分割特征图输入到已训练的生物对象分割质量评估模型进行质量评估，得到目标分割区域对应的分割可能度，基于分割可能度确定目标图像的生物对象分割结果。

在利用目标训练图像训练目标模型时，对于目标训练图像，图像中的生物对象的位置可以是人工标注的，将该生物对象的区域所对应的外接矩形区域作为训练生物对象检测模型对应的正样本区域，人工标注的生物对象区域为生物对象分割质量评估模型的正样本图像，人工标注的区域所对应的像素点为训练分割模型的正样本像素点。然后将目标训练图像输入到待训练的目标模型中，待训练的生物对象检测模型输出目标训练图像中包括生物对象的区域，基于该区域与正样本区域的差异可以得到第一模型损失值。待训练的分割模型输出目标训练图像中各个像素点为染色体所在像素点的概率，基于该概率与正样本像素点所对应的概率例如1的差异得到第二模型损失值，待训练的生物对象分割质量评估模型输出目标训练图像中各个区域为包括染色体的区域的概率，基于该概率与正样本图像所对应的概率的差异得到第三模型损失值，可以将第一模型损失值、第二模型损失值以及第三模型损失值进行加权求和，得到总的模型损失值，基于总的模型损失值调整特征提取模型、生物对象检测模型、分割模型以及生物对象分割质量评估模型的模型参数，直至模型收敛，得到训练得到的目标模型。其中，差异与模型损失值成正相关关系，模型收敛可以是总的模型损失值小于损失值阈值。通过总的模型损失值调整特征提取模型的参数，可以使得特征提取模型所提取得到的特征图是满足生物对象检测模型、分割模型以及生物对象分割质量评估模型的检测需要的，即该特征图能够既用于生物对象检测，也可以用于生物对象分割以及生物对象分类。

在一些实施例中，得到目标训练图像的步骤包括：获取初始训练图像以及生物对象图像；将生物对象图像与初始训练图像进行融合，将融合得到的图像作为目标训练图像。

生物对象图像为包括生物对象的图像，例如可以是一条染色体的图像，该生物对象图像可以是只包括染色体的图像。初始训练图像可以是初始的训练图像，可以理解，初始的训练图像可以是经过图像预处理的图像，例如对于相机拍摄得到的图像，可以经过数据增强处理，得到初始训练图像，数据增强可以包括色彩增强以及位置增强的至少一种，色彩增强可以包括滤波、锐化或者对比度增强的至少一个。位置增强包括缩放、旋转或者平移的至少一种。生物对象图像的尺寸小于初始训练图像的尺寸。

融合可以是直接叠加，也可以是通过像素值加权的方式进行融合，还可以是基于泊松融合(possion blending)的方式。通过将生物对象图像与初始训练图像进行融合，可以增加训练图像中生物对象的数量以及初始训练图像的复杂度，从而在基于目标训练图像训练模型时，可以增加模型训练所对应的正样本数量，而且使得训练得到的模型能够识别复杂的图像。

在一些实施例中，还可以对图像进行归一化处理，归一化处理的公式可以表示如下：其中，Input为输入图片，u为图像均值，std表示标准差，Output为输出归一化后的图像。

Output＝(input-u)/std

在一些实施例中，将生物对象图像与初始训练图像进行融合，将融合得到的图像作为目标训练图像包括：获取初始训练图像对应的融合区域；将生物对象图像覆盖在融合区域上，得到目标训练图像。

其中，融合区域是指初始训练图像中，用于与生物对象图像融合的图像区域，该区域可以是随机选择的，也可以是根据初始训练图像中生物对象的位置确定的。例如融合区域的形状以及大小可以是与生物对象图像的形状与大小匹配，可以将初始训练图像中生物对象所在的中心点作为融合区域的中心点。

当融合为直接叠加时，生物对象图像的融合区域即叠加位置根据初始训练图像中包括生物对象的位置得到，从而使得叠加后的图像中存在交叉的生物对象，然后直接将生物对象叠加即覆盖在融合区域中，得到目标训练图像。通过叠加，能够增加训练得到的目标模型对交叉的生物对象的检测能力。举个例子，可以根据初始训练图像中生物对象所在的中心位置确定融合区域的中心位置，然后按照与初始训练图像中生物对象的摆放方向不同的原则确定融合区域。如图6所示，假设初始训练图像为图像a，生物对象图像为图像b，则将生物对象图像覆盖在融合区域上可以得到图像c，例如通过将染色体的图像叠加在初始训练图像的一个染色体上，且使得这两个染色体的放置方向不同，从而使得两个染色体之间有部分位置相同，即染色体之间是交叉的。

在一些实施例中，将生物对象图像与初始训练图像进行融合，将融合得到的图像作为目标训练图像包括：获取初始训练图像对应的融合区域；将融合区域各个像素点对应的像素值，与生物对象图像中对应位置的像素点的像素值进行加权，得到加权像素值；利用加权像素值替换融合区域的像素值，得到目标训练图像。

其中，融合区域可以是随机选取的，融合区域所对应的形状以及大小与生物对象图像的形状和大小是一致的。例如，假设生物对象图像为一个长为2厘米，宽为1厘米的正方形，则融合区域也为一个长为2厘米，宽为1厘米的正方形。在融合时，是对应位置的像素值进行加权，即融合区域中的第一个像素点的像素值与生物对象图像中的第一个像素点的像素值进行加权，例如可以是融合区域中的第一个像素点的像素值乘以0.3，生物对象图像中的第一个像素点的像素值乘以0.7，然后进行相加，得到加权像素值。加权的权重可以根据需要设置，例如可以均为0.5。例如可以是生物对象图像所对应的权重大于初始训练图像的权重。

在一些实施例中，得到目标训练图像的公式可以表示为以下公式，其中“σ”指生物对象图像的权重，Mask指生物对象图像，input指初始训练图像，output指目标训练图像。“σ”是在[0,0.5]之间随机生成的一个值。当初始训练图像有很多个时，初始训练图像对应的“σ”值的分布符合beta(贝塔)分布，其中贝塔分布的alpha的值可以为2。

Output＝(1-σ)*Input+σ*Mask

具体地，计算机设备可以随机选择与生物对象图像的形状和大小一致的融合区域，然后将融合区域中的每个像素点的像素值与生物对象图像中对应位置的像素点的像素值进行加权，得到加权的像素值作为该融合区域中的像素点的像素值。通过将初始训练图像与生物对象图像融合，可以在初始训练图像上增加生物对象的同时，通过初始训练图像对生物对象图像进行调整，例如使得染色体的亮度值变小，使得对目标训练图像中的生物对象图像的检测难度增大，故基于该目标训练图像所训练得到的模型能够检测复杂的生物对象，提高了模型的检测准确度。

本申请实施例的方法可以应用于染色体的分割中，通过基于深度学习提出一种鲁棒性高的染色体自动分割算法，能够解决了由于拍摄环境，染色玻片制作质量的差异的干扰，解决了传统方法对于背景条件没有很好鲁棒性的问题，以及对于交叉、相连染色体不能很好的分离的问题。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一些实施例中，如图7所示，提供了一种生物对象分割装置，包括：

目标图像获取模块702，用于获取待进行生物对象分割的目标图像；

特征提取模块704，用于将目标图像输入到已训练的特征提取模型中进行特征提取，得到目标特征图；

目标分割区域得到模块706，用于根据目标特征图以及已训练的分割模型进行图像分割，得到包括生物对象的目标分割区域；

分割特征图获取模块708，用于从目标特征图中获取目标分割区域所对应的分割特征图；

分割可能度得到模块710，用于将分割特征图输入到已训练的生物对象分割质量评估模型进行质量评估，得到目标分割区域对应的分割可能度；

生物对象分割结果确定模块712，用于基于分割可能度确定目标图像的生物对象分割结果。

在一些实施例中，如图8所示，目标分割区域得到模块包括：

生物对象区域确定单元802，用于将目标特征图输入到已训练的生物对象检测模型中，确定包括生物对象的生物对象区域；

生物对象特征图获取单元804，用于从目标特征图中获取生物对象区域所对应的生物对象特征图；

目标分割区域得到单元806，用于将生物对象特征图输入到已训练的分割模型进行图像分割，分割得到包括生物对象的目标分割区域。

在一些实施例中，目标分割区域得到单元用于：将生物对象特征图输入到已训练的分割模型中，分割模型输出生物对象区域中各个像素点属于生物对象的概率；基于各个像素点属于生物对象的概率分割得到包括生物对象的目标分割区域。

在一些实施例中，分割可能度为目标分割区域为生物对象所在的区域的分割可能度，分割可能度得到模块用于：通过区域检测概率对分割可能度进行调整，得到调整后的分割可能度；当调整后的分割可能度大于第一概率阈值时，确定目标分割区域为生物对象所在的图像区域。

在一些实施例中，装置还包括标注模块，用于：获取目标图像对应的当前对象区域集合，当前对象区域集合包括为生物对象所在的图像区域的目标分割区域；获取当前对象区域集合中调整后的分割可能度最大的对象区域，作为对比对象区域；获取对比对象区域与当前对象区域集合中其他对象区域的区域重合度；从当前对象区域集合中滤除区域重合度大于重合度阈值的其他对象区域，得到更新的当前对象区域集合；重复获取当前对象区域集合中调整后的分割可能度最大的对象区域，作为对比对象区域的步骤，直至对象区域获取完毕，基于当前对象区域集合所包括的对象区域对目标图像进行标注，得到标注后的目标图像。

在一些实施例中，特征提取模型是通过目标训练图像训练得到的，得到目标训练图像的模块包括：初始训练图像以及生物对象图像获取单元，用于获取初始训练图像以及生物对象图像；融合单元，用于将生物对象图像与初始训练图像进行融合，将融合得到的图像作为目标训练图像。

在一些实施例中，融合单元用于：获取初始训练图像对应的融合区域；将生物对象图像覆盖在融合区域上，得到目标训练图像。

在一些实施例中，融合单元用于：获取初始训练图像对应的融合区域；将融合区域各个像素点对应的像素值，与生物对象图像中对应位置的像素点的像素值进行加权，得到加权像素值；利用加权像素值替换融合区域的像素值，得到目标训练图像。

关于生物对象分割装置的具体限定可以参见上文中对于生物对象分割方法的限定，在此不再赘述。上述生物对象分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储分割结果。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种生物对象分割方法。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取待进行生物对象分割的目标图像；将所述目标图像输入到已训练的特征提取模型中进行特征提取，得到目标特征图；根据所述目标特征图以及已训练的分割模型进行图像分割，得到包括生物对象的目标分割区域；从所述目标特征图中获取所述目标分割区域所对应的分割特征图；将所述分割特征图输入到已训练的生物对象分割质量评估模型进行质量评估，得到所述目标分割区域对应的分割可能度；基于所述分割可能度确定所述目标图像的生物对象分割结果。

在一些实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取待进行生物对象分割的目标图像；将所述目标图像输入到已训练的特征提取模型中进行特征提取，得到目标特征图；根据所述目标特征图以及已训练的分割模型进行图像分割，得到包括生物对象的目标分割区域；从所述目标特征图中获取所述目标分割区域所对应的分割特征图；将所述分割特征图输入到已训练的生物对象分割质量评估模型进行质量评估，得到所述目标分割区域对应的分割可能度；基于所述分割可能度确定所述目标图像的生物对象分割结果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种生物对象分割方法，其特征在于，所述方法包括：

获取待进行生物对象分割的目标图像；

将所述目标图像输入到已训练的特征提取模型中进行特征提取，得到目标特征图；

将所述目标特征图输入到已训练的生物对象检测模型中，确定包括生物对象的生物对象区域；

从所述目标特征图中获取所述生物对象区域所对应的生物对象特征图；

将所述生物对象特征图输入到已训练的分割模型中，所述分割模型输出所述生物对象区域中各个像素点属于生物对象的概率；

基于各个所述像素点属于生物对象的概率分割得到包括所述生物对象的目标分割区域；

从所述目标特征图中获取所述目标分割区域所对应的分割特征图；

将所述分割特征图输入到已训练的生物对象分割质量评估模型进行质量评估，得到所述目标分割区域对应的分割可能度；

基于所述分割可能度确定所述目标图像的生物对象分割结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述目标特征图输入到已训练的生物对象检测模型中，确定包括生物对象的生物对象区域包括：

将所述目标特征图输入到已训练的生物对象检测模型中，已训练的生物对象检测模型中的检测窗口在所述目标特征图中进行滑动；

基于检测窗口中的特征值确定检测窗口对应的图像区域包括生物对象的概率；

若检测窗口对应的图像区域包括生物对象的概率大于预设的概率阈值，则确定检测窗口对应的图像区域为生物对象区域，若检测窗口对应的图像区域包括生物对象的概率小于或等于所述预设的概率阈值，则确定检测窗口对应的图像区域不包括生物对象。

3.根据权利要求1所述的方法，其特征在于，所述从所述目标特征图中获取所述生物对象区域所对应的生物对象特征图包括：

从所述目标特征图中获取所述生物对象区域对应的特征值所形成的特征图区域，作为生物对象特征图。

4.根据权利要求1所述的方法，其特征在于，所述生物对象区域是基于所述生物对象检测模型输出的区域检测概率得到的，所述基于所述分割可能度确定所述目标图像的生物对象分割结果包括：

通过所述区域检测概率对所述分割可能度进行调整，得到调整后的分割可能度；

当调整后的分割可能度大于第一概率阈值时，确定所述目标分割区域为生物对象所在的图像区域。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

获取调整后的分割可能度大于第一概率阈值的目标分割区域，组成当前对象区域集合；

获取当前对象区域集合中调整后的分割可能度最大的对象区域，作为对比对象区域；

获取所述对比对象区域与当前对象区域集合中其他对象区域的区域重合度；

从当前对象区域集合中滤除区域重合度大于重合度阈值的其他对象区域，得到更新的当前对象区域集合；

重复获取当前对象区域集合中调整后的分割可能度最大的对象区域，作为对比对象区域的步骤，直至对象区域获取完毕，基于当前对象区域集合所包括的对象区域对所述目标图像进行标注，得到标注后的目标图像。

6.根据权利要求1所述的方法，其特征在于，所述特征提取模型是通过目标训练图像训练得到的，得到所述目标训练图像的步骤包括：

获取初始训练图像以及生物对象图像；

将所述生物对象图像与所述初始训练图像进行融合，将融合得到的图像作为所述目标训练图像。

7.根据权利要求6所述的方法，其特征在于，所述将所述生物对象图像与所述初始训练图像进行融合，将融合得到的图像作为所述目标训练图像包括：

获取所述初始训练图像对应的融合区域；

将所述融合区域各个像素点对应的像素值，与所述生物对象图像中对应位置的像素点的像素值进行加权，得到加权像素值；

利用所述加权像素值替换所述融合区域的像素值，得到所述目标训练图像。

8.一种生物对象分割装置，其特征在于，所述装置包括：

目标图像获取模块，用于获取待进行生物对象分割的目标图像；

特征提取模块，用于将所述目标图像输入到已训练的特征提取模型中进行特征提取，得到目标特征图；

目标分割区域得到模块，用于根将所述目标特征图输入到已训练的生物对象检测模型中，确定包括生物对象的生物对象区域；从所述目标特征图中获取所述生物对象区域所对应的生物对象特征图；将所述生物对象特征图输入到已训练的分割模型中，所述分割模型输出所述生物对象区域中各个像素点属于生物对象的概率；基于各个所述像素点属于生物对象的概率分割得到包括所述生物对象的目标分割区域；

分割特征图获取模块，用于从所述目标特征图中获取所述目标分割区域所对应的分割特征图；

分割可能度得到模块，用于将所述分割特征图输入到已训练的生物对象分割质量评估模型进行质量评估，得到所述目标分割区域对应的分割可能度；

生物对象分割结果确定模块，用于基于所述分割可能度确定所述目标图像的生物对象分割结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。