CN113344928A - 模型的训练及使用方法、装置、检测仪、存储介质 - Google Patents

Abstract

本申请公开了一种模型的训练及使用方法、装置、检测仪、存储介质，该模型的训练方法包括：获取已进行生物体对象标注的显微图像数据，包括染色图像和未染色图像；从染色图像和未染色图像中提取生物体对象的图像，得到染色生物体对象图像和未染色生物体对象图像；对未染色生物体对象图像进行颜色转换，得到着色生物体对象图像，染色生物体对象图像和着色生物体对象图像组成生物体对象图像集合；从生物体对象图像集合随机选取一个或多个生物体对象图像，将其融合在显微图像上得到样本图像；将多个样本图像输入神经网络模型进行模型训练，得到训练好的神经网络模型。基于该模型进行生物体对象检测识别，提高了生物体对象检测识别的准确性和效率。

Description

模型的训练及使用方法、装置、检测仪、存储介质

技术领域

本申请涉及医疗器械技术领域，尤其涉及一种模型的训练及使用方法、装置、检测仪、存储介质。

背景技术

目前，医学领域的生物体对象（如细胞）检测技术，通常采用人工的方式进行检测，称之为人工镜检。例如，医生将包含有生物样本的玻片放置在显微镜下，人工观察生物样本中细胞的类型等。人工镜检需要医生等专业人员通过长时间的积累经验才能有较好的识别能力，无法有效保证识别的准确性；而且，人工镜检操作繁琐、耗时耗力，检测识别的效率低。

因此如何提高生物体对象检测识别的准确性和效率成为亟需解决的问题。

发明内容

本申请实施例提供一种模型的训练及使用方法、装置、检测仪、存储介质，可以提高生物体对象检测识别的准确性和效率。

第一方面，本申请实施例提供了一种神经网络模型的训练方法，包括：

获取已进行生物体对象标注的显微图像数据，所述显微图像数据包括染色图像和未染色图像；

从所述染色图像和所述未染色图像中提取生物体对象的图像，得到染色生物体对象图像和未染色生物体对象图像；

根据所述染色生物体对象图像对应的颜色信息对所述未染色生物体对象图像进行颜色转换，得到所述未染色生物体对象图像对应的着色生物体对象图像，所述染色生物体对象图像和所述着色生物体对象图像组成生物体对象图像集合；

从所述生物体对象图像集合随机选取一个或多个生物体对象图像，将所述生物体对象图像融合在显微图像上得到样本图像；

将多个所述样本图像输入神经网络模型进行模型训练，得到训练好的神经网络模型。

第二方面，本申请实施例还提供了一种神经网络模型的使用方法，所述神经网络模型为采用上述的神经网络模型的训练方法训练得到的神经网络模型，所述神经网络模型的使用方法包括：

获取待检测显微图像；

将所述待检测显微图像输入所述神经网络模型进行生物体对象检测识别，输出对应的检测结果。

第三方面，本申请实施例还提供了一种图像处理装置，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行上述的神经网络模型的训练方法，或者，所述处理器调用所述存储器中的计算机程序时执行如上述的神经网络模型的使用方法。

第四方面，本申请实施例还提供了一种体液检测仪，所述体液检测仪包括如上述的图像处理装置。

第五方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述的神经网络模型的训练方法，或者，实现如上述的神经网络模型的使用方法。

本申请实施例提供了一种模型的训练及使用方法、装置、检测仪、存储介质，通过获取已进行生物体对象标注的显微图像数据，显微图像数据包括染色图像和未染色图像，从染色图像和未染色图像中提取各类别生物体对象的图像，得到各类别生物体对象的染色生物体对象图像和未染色生物体对象图像，然后根据染色生物体对象图像对应的颜色信息对未染色生物体对象图像进行颜色转换，得到未染色生物体对象图像对应的着色生物体对象图像，染色生物体对象图像和着色生物体对象图像组成生物体对象图像集合，从生物体对象图像集合随机选取一个或多个生物体对象图像，并将生物体对象图像融合在显微图像上得到样本图像，将多个样本图像输入神经网络模型进行模型训练，得到训练好的神经网络模型。相比于人工镜检，基于该训练好的神经网络模型进行生物体对象检测识别，不仅提高了生物体对象检测识别的准确性，而且也提高了生物体对象检测识别的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种体液检测仪的结构示意性框图；

图2是本申请实施例提供的一种神经网络模型的训练方法的步骤示意流程图；

图3是本申请实施例提供的一种得到各类别生物体对象的染色生物体对象图像和未染色生物体对象图像的步骤示意流程图；

图4是本申请实施例提供的另一种得到各类别生物体对象的染色生物体对象图像和未染色生物体对象图像的步骤示意流程图；

图5是本申请实施例提供的一种得到所述未染色生物体对象图像对应的着色生物体对象图像的步骤示意流程图；

图6是本申请实施例提供的另一种得到所述未染色生物体对象图像对应的着色生物体对象图像的步骤示意流程图；

图7是本申请实施例提供的一种将所述生物体对象图像融合在显微图像上得到样本图像的步骤示意流程图；

图8是本申请实施例提供的另一种将所述生物体对象图像融合在显微图像上得到样本图像的步骤示意流程图；

图9是本申请实施例提供的另一种神经网络模型的训练方法的步骤示意流程图；

图10是本申请实施例提供的一种未染色生物体对象图像的示意图；

图11是本申请实施例提供的一种着色生物体对象图像的示意图；

图12是本申请实施例提供的一种样本图像的示意图；

图13是本申请实施例提供的一种获得样本图像集合的流程示意图；

图14是本申请实施例提供的一种神经网络模型的使用方法的步骤示意流程图；

图15是本申请实施例提供的一种图像处理装置的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

本申请的实施例提供了一种模型的训练及使用方法、装置、检测仪、存储介质，用于实现提高生物体对象检测识别的准确性和效率。

请参阅图1，图1是本申请一实施例提供的体液检测仪的结构示意性框图。如图1所示，体液检测仪1000可以包括扫描装置100、成像装置200、以及图像处理装置300。其中，扫描装置100模拟医生在显微镜下对待检测样本（如阴道分泌物检测样本）进行检测分析时转动细准焦螺旋的动作，对待检测样本进行聚焦扫描。成像装置200包括但不限于CCD（ChargeCoupleD Device）成像系统，用于生成阴道分泌物等待检测样本对应的显微图像。图像处理装置300用于基于显微图像生成大量样本图像，并根据样本图像训练构建的神经网络模型，以及使用训练好的神经网络模型进行生物体对象（如细胞）检测识别。

可以理解的是，上述对于体液检测仪1000各部件的命名仅仅出于标识的目的，并不因此对本申请实施例进行限制。

以下将基于体液检测仪1000、体液检测仪1000中的图像处理装置300对本申请的实施例提供的神经网络模型的训练方法和神经网络模型的使用方法进行详细介绍。需知，图1的体液检测仪1000、图像处理装置300仅用于解释本申请实施例提供的神经网络模型的训练方法和神经网络模型的使用方法，但并不构成对本申请实施例提供的神经网络模型的训练方法和神经网络模型的使用方法的应用场景的限定。

请参阅图2，图2是本申请一实施例提供的神经网络模型的训练方法的流程示意图。该方法可以用于上述实施例提供的体液检测仪中，也可以用于其他设置有图像处理装置的设备中，本申请中对该方法的应用场景不做限定。下面以该神经网络模型的训练方法应用于体液检测仪中为例，对该神经网络模型的训练方法进行详细介绍。

如图2所示，该神经网络模型的训练方法具体包括步骤S101至步骤S105。

S101、获取已进行生物体对象标注的显微图像数据，所述显微图像数据包括染色图像和未染色图像。

其中，生物体对象包括但不限于细胞、染色体等各种对象。示例性的，以生物体对象为细胞为例，预先通过标注软件对包括各类别细胞的显微图像进行标注，获得已进行细胞标注的显微图像数据，其中，显微图像数据包括染色图像和未染色图像。例如，通过深度学习图像标注工具-Labelme，对染色图像和未染色图像进行标注。

根据已进行细胞标注的显微图像数据，可以获取其中各类别细胞对应的标注信息，其中，标注信息包括但不限于细胞类别、坐标信息等。细胞类别包括线索细胞、鳞状细胞等。

S102、从所述染色图像和所述未染色图像中提取生物体对象的图像，得到染色生物体对象图像和未染色生物体对象图像。

示例性的，仍以上述列举的细胞例子为例，基于染色图像和未染色图像中包含的各类别细胞，对染色图像和未染色图像进行图像截取操作，得到各类别细胞的染色细胞图像和未染色细胞图像。

在一些实施例中，如图3所示，步骤S102可以包括子步骤S1021和子步骤S1022。

S1021、获取所述染色图像和所述未染色图像中生物体对象的坐标信息。

示例性的，根据染色图像和未染色图像中各类别细胞对应的标注信息，提取标注信息中各类别细胞的坐标信息。

S1022、根据所述坐标信息，对所述染色图像和所述未染色图像进行图像截取操作，获得所述染色生物体对象图像和所述未染色生物体对象图像。

示例性的，根据获取到的各类别细胞的坐标信息，确定各类别细胞所在图像区域位置，对染色图像和未染色图像中各类别细胞所在图像区域位置进行图像截取操作，获得染色细胞图像和未染色细胞图像。

在另一些实施例中，如图4所示，步骤S102可以包括子步骤S1023和子步骤S1024。

S1023、根据所述染色图像和所述未染色图像的像素值，确定所述染色图像和所述未染色图像中生物体对象的轮廓。

示例性的，染色图像和未染色图像中各类别细胞的图像区域对应的像素值与其他区域对应的像素值是有区别的，根据染色图像和未染色图像的像素值，确定染色图像和未染色图像中各类别细胞的轮廓，也即确定各类别细胞所在图像区域位置。

S1024、根据所述生物体对象的轮廓，对所述染色图像和所述未染色图像进行图像截取操作，获得所述染色生物体对象图像和所述未染色生物体对象图像。

示例性的，根据确定的各类别细胞的轮廓，确定各类别细胞所在图像区域位置，对染色图像和未染色图像中各类别细胞所在图像区域位置进行图像截取操作，获得染色细胞图像和未染色细胞图像。

S103、根据所述染色生物体对象图像对应的颜色信息对所述未染色生物体对象图像进行颜色转换，得到所述未染色生物体对象图像对应的着色生物体对象图像，所述染色生物体对象图像和所述着色生物体对象图像组成生物体对象图像集合。

示例性的，获得染色细胞图像和未染色细胞图像后，针对于其中的未染色细胞图像，基于染色细胞图像对应的色调等颜色信息，对未染色细胞图像进行颜色转换，得到未染色细胞图像对应的着色细胞图像。例如，利用未染色细胞图像对应的像素信息，把未染色细胞图像进行颜色转换，使转换后的颜色与染色细胞图像的颜色相似度越高越好。

示例性的，预先设置图像的色调对应的预设阈值，该预设阈值可根据实际情况进行灵活设置，在此不作具体限制。根据染色细胞图像对应的色调等颜色信息，对未染色细胞图像进行颜色转换，得到未染色细胞图像对应的着色细胞图像，使着色细胞图像与染色细胞图像之间的色调差低于该预设阈值，也即使着色细胞图像与染色细胞图像的颜色相似度较高。

获得的着色细胞图像与染色细胞图像一起组成细胞图像集合，细胞图像集合中的每个细胞图像相对于未染色细胞图像有较为明显的对比度。

在一些实施例中，如图5所示，步骤S103可以包括子步骤S1031和子步骤S1032。

S1031、将所述未染色生物体对象图像从RGB颜色空间转换至HSV颜色空间，并根据所述染色生物体对象图像对应的颜色信息对所述未染色生物体对象图像的HSV颜色空间的H分量进行调整。

示例性的，按照计算公式将获得的未染色细胞图像从RGB颜色空间转换至HSV颜色空间。

例如，按照以下计算公式分别计算未染色细胞图像从RGB颜色空间转换至HSV颜色空间对应的H分量、S分量、V分量：

其中：

也即，

为

、

、

中的最大值，

为

、

、

中的最小值，

为

与

的差值。

通过上述公式将未染色细胞图像从RGB颜色空间转换至HSV颜色空间，计算得到未染色细胞图像的HSV颜色空间对应的H分量、S分量、V分量之后，根据染色细胞图像对应的颜色信息对未染色细胞图像的HSV颜色空间的H分量进行调整，也即对色调进行调整。示例性的，对未染色细胞图像的HSV颜色空间的H分量进行调整后，使得其与染色细胞图像的色调差低于预设阈值，也即使其与染色细胞图像的颜色相似度高。

示例性的，在一实施方式中，根据计算得到的未染色细胞图像的HSV颜色空间对应的H分量，以及染色细胞图像的HSV颜色空间对应的H分量，对未染色细胞图像的HSV颜色空间对应的H分量进行自动调整，使得调整后的未染色细胞图像的HSV颜色空间对应的H分量、与染色细胞图像的HSV颜色空间对应的H分量匹配。比如使调整后的未染色细胞图像的HSV颜色空间对应的H分量、与染色细胞图像的HSV颜色空间对应的H分量之差低于预设阈值。

在另一实施方式中，计算得到未染色细胞图像的HSV颜色空间对应的H分量后，通过人工操作对H分量进行调整。例如，通过显示屏等显示装置显示H分量调整操作界面，用户可以在H分量调整操作界面上输入目标H分量值，比如在输入框内输入目标H分量值，或者拉动H分量数据条至目标H分量值位置。根据用户的操作，对未染色细胞图像的HSV颜色空间对应的H分量进行调整，如将H分量调整至目标H分量值。

S1032、将调整过H分量的所述未染色生物体对象图像从HSV颜色空间转换至RGB颜色空间，获得所述着色生物体对象图像。

示例性的，根据未染色细胞图像从RGB颜色空间转换至HSV颜色空间对应的计算公式，相应地，设有未染色细胞图像从HSV颜色空间转换至RGB颜色空间对应的计算公式。根据未染色细胞图像从HSV颜色空间转换至RGB颜色空间对应的计算公式，将调整过H分量的未染色细胞图像从HSV颜色空间转换至RGB颜色空间，也即是上述将未染色细胞图像从RGB颜色空间转换至HSV颜色空间的逆向操作，在此不再详细展开，获得未染色细胞图像对应的着色细胞图像。

在一些实施例中，如图6所示，步骤S103可以包括子步骤S1033和子步骤S1034。

S1033、获取所述未染色生物体对象图像的RGB颜色空间对应的R分量、G分量和B分量。

示例性的，对于每个未染色细胞图像，获取该未染色细胞图像的RGB颜色空间对应的R分量、G分量和B分量，也即获取未染色细胞图像的RGB三通道图像数据。

S1034、根据所述染色生物体对象图像对应的颜色信息对所述R分量、所述G分量和所述B分量进行调整，获得所述着色生物体对象图像。

示例性的，基于染色细胞图像的RGB颜色空间对应的R分量、G分量和B分量，按照预设的变换公式，对未染色细胞图像的RGB颜色空间对应的R分量、G分量和B分量进行调整。

例如，按照以下变换公式调整未染色细胞图像的RGB颜色空间对应的R分量、G分量和B分量：

其中，

为调整后的R分量值，

为调整后的G分量值，

为调整后的B分量值。根据

值、

值、

值，获得调整后新的RGB三通道图像数据，根据新的RGB三通道图像数据，获得对应的着色细胞图像。着色细胞图像与染色细胞图像的颜色相似度高。

S104、从所述生物体对象图像集合随机选取一个或多个生物体对象图像，将所述生物体对象图像融合在显微图像上得到样本图像。

也即，从生物体对象图像集合中随机选取至少一个生物体对象图像，将该至少一个生物体对象图像与显微图像数据中的任一显微图像进行图像融合操作，得到相应的样本图像。也即，将该至少一个生物体对象图像融合在染色图像或未染色图像上得到样本图像。

这样，基于生物体对象图像集合中的多个生物体对象图像，通过多次的图像融合操作，就可以得到大量的样本图像，从而解决了样本图像数量少、获取难的问题。并且，获得的样本图像对应的背景、生物体对象形态、颜色、生物体对象与生物体对象之间的相互重叠等的多样性得到增加。

并且，将生物体对象图像融合在显微图像上得到的样本图像，可以直接获得样本图像中各类别生物体对象对应的标注信息，无需二次标注，因此，避免了人工标注耗时耗力的问题，减少了样本图像的标注成本。

在一些实施例中，如图7所示，步骤S104可以包括子步骤S1041和子步骤S1042。

S1041、获取显微图像在x方向和y方向的梯度、以及选取的一个或多个生物体对象图像在x方向和y方向的梯度。

示例性的，对显微图像进行卷积计算，获得显微图像在x方向的第一梯度和在y方向的第二梯度。以及对选取的一个或多个生物体对象图像进行卷积计算，获得一个或多个生物体对象图像在x方向的至少一个第三梯度和在y方向的至少一个第四梯度。

例如，若选取一个细胞图像g，显微图像为s，则对显微图像s进行卷积计算，获得显微图像s在x方向的第一梯度destinationGradientX、显微图像s在y方向的第二梯度destinationGradientY。对细胞图像g进行卷积计算，获得细胞图像g在x方向的第三梯度patchGradientX、细胞图像g在y方向的第四梯度patchGradientY。

S1042、根据所述显微图像在x方向和y方向的梯度、以及所述一个或多个生物体对象图像在x方向和y方向的梯度，获得融合图像数据，并根据所述融合图像数据生成所述样本图像。

示例性的，对第一梯度和至少一个第三梯度进行加权求和，获得在x方向的第一融合梯度，以及对第二梯度和至少一个第四梯度进行加权求和，获得在y方向的第二融合梯度。之后，对第一融合梯度进行x方向求偏导计算，获得第一图像数据，以及对第二融合梯度进行y方向求偏导计算，获得第二图像数据，将第一图像数据和第二图像数据相加，获得融合图像数据，并根据融合图像数据生成所述样本图像。

仍以上述列举的例子为例，将计算获得的显微图像s在x方向的第一梯度destinationGradientX与细胞图像g在x方向的第三梯度patchGradientX进行加权求和，获得在x方向的第一融合梯度laplacianX。将计算得到的显微图像s在y方向的第二梯度destinationGradientY与细胞图像g在y方向的第四梯度patchGradientY进行加权求和，获得在y方向的第二融合梯度laplacianY。

例如，按照以下公式计算得到第一融合梯度laplacianX和第二融合梯度laplacianY：

laplacianX = alpha1 * destinationGradientX + beta1 * patchGradientX

laplacianY = alpha1 * destinationGradientY + beta1 * patchGradientY

其中，alpha1和beta1是加权系数，其具体值可根据实际情况进行灵活设置，在此不作具体限制。

计算得到第一融合梯度laplacianX和第二融合梯度laplacianY后，对第一融合梯度laplacianX进行x方向求偏导计算，获得第一图像数据，以及对第二融合梯度laplacianY进行y方向求偏导计算，获得第二图像数据，将第一图像数据和第二图像数据相加，获得融合图像数据。根据融合图像数据生成对应的样本图像。

在一些实施例中，如图8所示，步骤S104可以包括子步骤S1043和子步骤S1044。

S1043、获取显微图像对应的第一权重值、以及选取的一个或多个生物体对象图像对应的至少一个第二权重值。

其中，显微图像对应的第一权重值、以及生物体对象图像对应的第二权重值可根据实际情况进行灵活设置，在此不作具体限制。

例如，若选取一个细胞图像src1，显微图像为src2，获取显微图像src2对应的第一权重值beta、细胞图像src1对应的第二权重值alpha。

S1044、根据所述第一权重值和至少一个所述第二权重值，对所述显微图像和所述一个或多个生物体对象图像进行加权融合，获得所述样本图像。

示例性的，按照以下计算公式对显微图像src2和细胞图像src1进行加权融合，获得样本图像dst：

dst = src1 * alpha + src2 * beta + gamma

其中，gamma为加权超参数，具体数值与alpha和beta一样，可根据实际情况进行灵活设置。

在一些实施例中，如图9所示，步骤S104之前还可以包括步骤步骤S106，步骤S104可以包括子步骤S1045。

S106、从所述生物体对象图像集合随机选取一个或多个生物体对象图像，并对所述一个或多个生物体对象图像进行图像预处理，所述图像预处理包括图像缩放、图像顺时针或逆时针旋转、图像翻转、图像像素增加或减小、图像对比度增加或减小、图像亮度增加或减小、图像变形、图像贴合中至少一种。

从生物体对象图像集合中随机选取至少一个生物体对象图像，对该至少一个生物体对象图像进行图像预处理，获得图像预处理后的至少一个生物体对象图像。其中，图像预处理包括图像缩放、图像顺时针或逆时针旋转、图像翻转、图像像素增加或减小、图像对比度增加或减小、图像亮度增加或减小、图像变形、图像贴合中至少一种。

示例性的，按预设比例对生物体对象图像进行缩放，例如，该预设比例可设置为0.8~1.2倍。

示例性的，按预设旋转角度对生物体对象图像进行顺时针或逆时针旋转，例如，该预设旋转角度可设置为±30º~±90º。

示例性的，将生物体对象图像沿水平或垂直方向翻转180º。

示例性的，按预设像素值增减范围对生物体对象图像随机进行像素增加或减小，例如，该预设像素值增减范围可设置为5~10个像素值。

示例性的，按预设比例对生物体对象图像进行对比度增加或减小，例如，该预设比例可设置为0.8~1.2倍。

示例性的，按预设比例对生物体对象图像进行图像亮度增加或减小，例如，该预设比例可设置为0.8~1.2倍。

示例性的，将生物体对象图像进行图像扭曲等变形处理。

示例性的，按预设iou（重叠度）对生物体对象图像进行图像贴合处理，其中，该预设iou可设置为0-0.5。

通过上述列举的多种处理方式中的至少一种对选取的至少一个生物体对象图像进行图像预处理，获得图像预处理后的至少一个生物体对象图像。

例如，如图10和图11所示，图10为一个未染色细胞图像的示意图，图11为图10的未染色细胞图像进行颜色转换以及图像翻转处理后得到的着色细胞图像的示意图。

S1045、将图像预处理后的一个或多个生物体对象图像融合在所述显微图像上，得到所述样本图像。

将图像预处理后的至少一个生物体对象图像融合在显微图像上的操作可参考前述实施例中所述，在此不再赘述。

例如，如图12所示，图12为将多个细胞图像融合在显微图像上得到的样本图像的示意图，其中，方框对应的细胞为进行融合的细胞图像的细胞。

示例性的，如图13所示，图13为获得样本图像集合的流程示意图：

1）、获得染色图像和不染色图像；

2）、对染色图像和不染色图像进行标注；

3）、从标注的染色图像和未染色图像中提取细胞的图像，获得染色细胞图像和未染色细胞图像；

4）、对未染色细胞图像进行颜色转换，得到着色细胞图像；

5）、将着色细胞图像与染色细胞图像融合在显微图像上，生成样本图像；

6）、由标注的染色图像和生成的样本图像组成样本图像集合。

S105、将多个所述样本图像输入神经网络模型进行模型训练，得到训练好的神经网络模型。

通过图像融合获得多个样本图像之后，将多个样本图像输入神经网络模型进行模型训练，得到训练好的神经网络模型。其中，神经网络模型可以为在Caffe框架中构建的基于卷积神经网络（CNN，Convolutional Neural Network）中的全卷积网络（FCN，FullyConvolutional Networks）模型。

需要说明的是，该神经网络模型还可以是其他类型的深度学习目标检测网络模型，比如YOLO-v3目标检测器、Faster-RCNN目标检测器等。本申请中对神经网络模型的类型不作具体限制。

示例性的，将显微图像数据中的染色图像、以及上述生成的样本图像一起组成样本图像集合，基于该样本图像集合对神经网络模型进行模型训练，得到训练好的神经网络模型。

基于大量样本图像对神经网络模型进行模型训练，能够明显提升模型的识别准确性和鲁棒性。

该训练好的神经网络模型可以应用于对女性的妇科分泌物显微图像进行生物体对象检测识别，可以理解的是，该神经网络模型还可以应用于对其他类型的显微图像进行生物体对象检测识别。

上述实施例通过获取已进行生物体对象标注的显微图像数据，显微图像数据包括染色图像和未染色图像，从染色图像和未染色图像中提取各类别生物体对象的图像，得到各类别生物体对象的染色生物体对象图像和未染色生物体对象图像，然后根据染色生物体对象图像对应的颜色信息对未染色生物体对象图像进行颜色转换，得到未染色生物体对象图像对应的着色生物体对象图像，染色生物体对象图像和着色生物体对象图像组成生物体对象图像集合，从生物体对象图像集合随机选取一个或多个生物体对象图像，并将生物体对象图像融合在显微图像上得到样本图像，将多个样本图像输入神经网络模型进行模型训练，得到训练好的神经网络模型。相比于现有通过染色处理获得少量的样本图像进行模型训练的方式，提升了神经网络模型的识别准确性和鲁棒性。

请参阅图14，图14是本申请一实施例提供的神经网络模型的使用方法的流程示意图。

如图14所示，该神经网络模型的使用方法具体包括步骤S201和步骤S202。

S201、获取待检测显微图像。

例如，以女性的妇科分泌物检测为例，通过分泌物检测仪获取待测人员的妇科分泌物显微图像，作为待检测显微图像。

S202、将所述待检测显微图像输入所述神经网络模型进行生物体对象检测识别，输出对应的检测结果。

在该实施例中，采用上述实施例中训练好的神经网络模型进行生物体对象检测识别。示例性的，获取到待检测显微图像后，基于上述实施例中训练好的神经网络模型，将待检测显微图像输入该神经网络模型进行生物体对象检测识别，输出对应的检测结果。

由于该神经网络模型的识别准确性和鲁棒性高，基于该训练好的神经网络模型进行生物体对象检测识别，提高了生物体对象检测识别的准确性。而且，相比于人工镜检，省去了耗时耗力的人工操作过程，提高了生物体对象检测识别的效率。

请参阅图15，图15为本申请实施例提供的一种图像处理装置的示意性框图。示例性的，该图像处理装置可以为图1中体液检测仪的图像处理装置。如图15所示，图像处理装置500可以包括处理器510和存储器520。处理器510和存储器520通过总线连接，该总线比如为I2C（Inter-integrated Circuit）总线。

具体地，处理器510可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。

具体地，存储器520可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。

其中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现如下步骤：

获取已进行生物体对象标注的显微图像数据，所述显微图像数据包括染色图像和未染色图像；

从所述染色图像和所述未染色图像中提取各类别生物体对象的图像，得到各类别生物体对象的染色生物体对象图像和未染色生物体对象图像；

根据所述染色生物体对象图像对应的颜色信息对所述未染色生物体对象图像进行颜色转换，得到所述未染色生物体对象图像对应的着色生物体对象图像，所述染色生物体对象图像和所述着色生物体对象图像组成生物体对象图像集合；

从所述生物体对象图像集合随机选取一个或多个生物体对象图像，将所述生物体对象图像融合在显微图像上得到样本图像；

将多个所述样本图像输入神经网络模型进行模型训练，得到训练好的神经网络模型。

在一些实施例中，所述处理器在实现所述根据所述染色生物体对象图像对应的颜色信息对所述未染色生物体对象图像进行颜色转换，得到所述未染色生物体对象图像对应的着色生物体对象图像时，用于实现：

将所述未染色生物体对象图像从RGB颜色空间转换至HSV颜色空间，并根据所述染色生物体对象图像对应的颜色信息对所述未染色生物体对象图像的HSV颜色空间的H分量进行调整；

将调整过H分量的所述未染色生物体对象图像从HSV颜色空间转换至RGB颜色空间，获得所述着色生物体对象图像。

在一些实施例中，所述处理器在实现所述根据所述染色生物体对象图像对应的颜色信息对所述未染色生物体对象图像进行颜色转换，得到所述未染色生物体对象图像对应的着色生物体对象图像时，用于实现：

获取所述未染色生物体对象图像的RGB颜色空间对应的R分量、G分量和B分量；

根据所述染色生物体对象图像对应的颜色信息对所述R分量、所述G分量和所述B分量进行调整，获得所述着色生物体对象图像。

在一些实施例中，所述染色生物体对象图像和所述着色生物体对象图像的色调差低于预设阈值。

在一些实施例中，所述处理器在实现所述从所述生物体对象图像集合随机选取一个或多个生物体对象图像，将所述生物体对象图像融合在显微图像上得到样本图像时，用于实现：

获取显微图像在x方向和y方向的梯度、以及选取的一个或多个生物体对象图像在x方向和y方向的梯度；

根据所述显微图像在x方向和y方向的梯度、以及所述一个或多个生物体对象图像在x方向和y方向的梯度，获得融合图像数据，并根据所述融合图像数据生成所述样本图像。

在一些实施例中，所述处理器在实现所述从所述生物体对象图像集合随机选取一个或多个生物体对象图像，将所述生物体对象图像融合在显微图像上得到样本图像时，用于实现：

获取显微图像对应的第一权重值、以及选取的一个或多个生物体对象图像对应的至少一个第二权重值；

根据所述第一权重值和至少一个所述第二权重值，对所述显微图像和所述一个或多个生物体对象图像进行加权融合，获得所述样本图像。

在一些实施例中，所述处理器在实现所述将所述生物体对象图像融合在显微图像上得到样本图像之前，还用于实现：

从所述生物体对象图像集合随机选取一个或多个生物体对象图像，并对所述一个或多个生物体对象图像进行图像预处理，所述图像预处理包括图像缩放、图像顺时针或逆时针旋转、图像翻转、图像像素增加或减小、图像对比度增加或减小、图像亮度增加或减小、图像变形、图像贴合中至少一种；

所述处理器在实现所述将所述生物体对象图像融合在显微图像上得到样本图像时，用于实现：

将图像预处理后的一个或多个生物体对象图像融合在所述显微图像上，得到所述样本图像。

在一些实施例中，所述处理器在实现所述从所述染色图像和所述未染色图像中提取各类别生物体对象的图像，得到各类别生物体对象的染色生物体对象图像和未染色生物体对象图像时，用于实现：

获取所述染色图像和所述未染色图像中各类别生物体对象的坐标信息；

根据所述坐标信息，对所述染色图像和所述未染色图像进行图像截取操作，获得所述染色生物体对象图像和所述未染色生物体对象图像。

在一些实施例中，所述处理器在实现所述从所述染色图像和所述未染色图像中提取各类别生物体对象的图像，得到各类别生物体对象的染色生物体对象图像和未染色生物体对象图像时，用于实现：

根据所述染色图像和所述未染色图像的像素值，确定所述染色图像和所述未染色图像中各类别生物体对象的轮廓；

根据所述各类别生物体对象的轮廓，对所述染色图像和所述未染色图像进行图像截取操作，获得所述染色生物体对象图像和所述未染色生物体对象图像。

在一些实施例中，所述处理器还用于实现：

获取待检测显微图像；

将所述待检测显微图像输入所述神经网络模型进行生物体对象检测识别，输出对应的检测结果。

本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现上述实施例提供的神经网络模型的训练方法或神经网络模型的使用方法的步骤。例如，该计算机程序被处理器加载，可以执行如下步骤：

获取已进行生物体对象标注的显微图像数据，所述显微图像数据包括染色图像和未染色图像；

从所述染色图像和所述未染色图像中提取各类别生物体对象的图像，得到各类别生物体对象的染色生物体对象图像和未染色生物体对象图像；

根据所述染色生物体对象图像对应的颜色信息对所述未染色生物体对象图像进行颜色转换，得到所述未染色生物体对象图像对应的着色生物体对象图像，所述染色生物体对象图像和所述着色生物体对象图像组成生物体对象图像集合；

从所述生物体对象图像集合随机选取一个或多个生物体对象图像，将所述生物体对象图像融合在显微图像上得到样本图像；

将多个所述样本图像输入神经网络模型进行模型训练，得到训练好的神经网络模型。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，计算机可读存储介质可以是前述实施例的图像处理装置或体液检测仪的内部存储单元，例如图像处理装置或体液检测仪的硬盘或内存。计算机可读存储介质也可以是图像处理装置或体液检测仪的外部存储设备，例如图像处理装置或体液检测仪上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

由于该计算机可读存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种神经网络模型的训练方法或神经网络模型的使用方法，因此，可以实现本申请实施例所提供的任一种神经网络模型的训练方法或神经网络模型的使用方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅是本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种神经网络模型的训练方法，其特征在于，包括：

获取已进行生物体对象标注的显微图像数据，所述显微图像数据包括染色图像和未染色图像；

从所述染色图像和所述未染色图像中提取生物体对象的图像，得到染色生物体对象图像和未染色生物体对象图像；

根据所述染色生物体对象图像对应的颜色信息对所述未染色生物体对象图像进行颜色转换，得到所述未染色生物体对象图像对应的着色生物体对象图像，所述染色生物体对象图像和所述着色生物体对象图像组成生物体对象图像集合；

从所述生物体对象图像集合随机选取一个或多个生物体对象图像，将所述生物体对象图像融合在显微图像上得到样本图像；

将多个所述样本图像输入神经网络模型进行模型训练，得到训练好的神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述染色生物体对象图像对应的颜色信息对所述未染色生物体对象图像进行颜色转换，得到所述未染色生物体对象图像对应的着色生物体对象图像，包括：

将所述未染色生物体对象图像从RGB颜色空间转换至HSV颜色空间，并根据所述染色生物体对象图像对应的颜色信息对所述未染色生物体对象图像的HSV颜色空间的H分量进行调整；

将调整过H分量的所述未染色生物体对象图像从HSV颜色空间转换至RGB颜色空间，获得所述着色生物体对象图像。

3.根据权利要求1所述的方法，其特征在于，所述根据所述染色生物体对象图像对应的颜色信息对所述未染色生物体对象图像进行颜色转换，得到所述未染色生物体对象图像对应的着色生物体对象图像，包括：

获取所述未染色生物体对象图像的RGB颜色空间对应的R分量、G分量和B分量；

根据所述染色生物体对象图像对应的颜色信息对所述R分量、所述G分量和所述B分量进行调整，获得所述着色生物体对象图像。

4.根据权利要求1所述的方法，其特征在于，所述染色生物体对象图像和所述着色生物体对象图像之间的色调差低于预设阈值。

5.根据权利要求1所述的方法，其特征在于，所述从所述生物体对象图像集合随机选取一个或多个生物体对象图像，将所述生物体对象图像融合在显微图像上得到样本图像，包括：

获取显微图像在x方向和y方向的梯度、以及选取的一个或多个生物体对象图像在x方向和y方向的梯度；

根据所述显微图像在x方向和y方向的梯度、以及所述一个或多个生物体对象图像在x方向和y方向的梯度，获得融合图像数据，并根据所述融合图像数据生成所述样本图像。

6.根据权利要求1所述的方法，其特征在于，所述从所述生物体对象图像集合随机选取一个或多个生物体对象图像，将所述生物体对象图像融合在显微图像上得到样本图像，包括：

获取显微图像对应的第一权重值、以及选取的一个或多个生物体对象图像对应的至少一个第二权重值；

根据所述第一权重值和至少一个所述第二权重值，对所述显微图像和所述一个或多个生物体对象图像进行加权融合，获得所述样本图像。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述将所述生物体对象图像融合在显微图像上得到样本图像之前，所述方法还包括：

从所述生物体对象图像集合随机选取一个或多个生物体对象图像，并对所述一个或多个生物体对象图像进行图像预处理，所述图像预处理包括图像缩放、图像顺时针或逆时针旋转、图像翻转、图像像素增加或减小、图像对比度增加或减小、图像亮度增加或减小、图像变形、图像贴合中至少一种；

所述将所述生物体对象图像融合在显微图像上得到样本图像，包括：

将图像预处理后的一个或多个生物体对象图像融合在所述显微图像上，得到所述样本图像。

8.根据权利要求1至6任一项所述的方法，其特征在于，所述从所述染色图像和所述未染色图像中提取生物体对象的图像，得到染色生物体对象图像和未染色生物体对象图像，包括：

获取所述染色图像和所述未染色图像中生物体对象的坐标信息；

根据所述坐标信息，对所述染色图像和所述未染色图像进行图像截取操作，获得所述染色生物体对象图像和所述未染色生物体对象图像。

9.根据权利要求1至6任一项所述的方法，其特征在于，所述从所述染色图像和所述未染色图像中提取生物体对象的图像，得到染色生物体对象图像和未染色生物体对象图像，包括：

根据所述染色图像和所述未染色图像的像素值，确定所述染色图像和所述未染色图像中生物体对象的轮廓；

根据所述生物体对象的轮廓，对所述染色图像和所述未染色图像进行图像截取操作，获得所述染色生物体对象图像和所述未染色生物体对象图像。

10.一种神经网络模型的使用方法，其特征在于，所述神经网络模型为采用如权利要求1至9中任一项所述的神经网络模型的训练方法训练得到的神经网络模型，所述神经网络模型的使用方法包括：

获取待检测显微图像；

将所述待检测显微图像输入所述神经网络模型进行生物体对象检测识别，输出对应的检测结果。

11.一种图像处理装置，其特征在于，所述图像处理装置包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至9中任一项所述的神经网络模型的训练方法，或者，所述处理器调用所述存储器中的计算机程序时执行如权利要求10所述的神经网络模型的使用方法。

12.一种体液检测仪，其特征在于，所述体液检测仪包括如权利要求11所述的图像处理装置。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至9中任一项所述的神经网络模型的训练方法，或者，实现如权利要求10所述的神经网络模型的使用方法。

Images