CN111738922A - 密度网络模型的训练方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及图像处理技术领域，提供一种密度网络模型的训练方法、装置、计算机设备和存储介质。该方法包括：确定待训练的密度网络模型的模型下采样因子和图像缩放倍数；根据所述模型下采样因子和图像缩放倍数，确定图像缩放参数；按照所述图像缩放参数对已标注的训练样本原始图像进行缩放，并将缩放后的已标注的训练样本原始图像转换为训练样本密度图像；将所述训练样本密度图像和未标注的训练样本原始图像加载至所述密度网络模型，基于所述模型下采样因子对所述密度网络模型进行训练。本申请可提高密度网络模型的预测推理性能以及缩短训练时间。

Description

密度网络模型的训练方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种密度网络模型的训练方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，出现了利用深度学习网络等密度网络模型对图像进行分析处理的技术。在具体训练中，密度网络模型需要进行多个轮次的训练，如果在将用于训练的图像加载至密度网络模型后，密度网络模型涉及对图像进行缩放处理，以及生成对应的密度图像的过程，但是针对细小高密度、多遮挡、背景多样且干扰多的图像，在密度网络模型中进行缩放且生成密度图像的处理，会导致密度图像的积分值发生改变，难以保证密度网络模型的预测精度；示例地，显微视野下的精液图像输入至密度网络模型进行训练时，若在密度网络模型中对精液图像进行密度图转换并进行训练，会导致密度网络模型对待预测的精液图像中的精子数量的统计预测准确性降低；可见存在密度网络模型的预测性能准确性较低的技术问题。

发明内容

基于此，为得到可以预测性能准确性较高的密度网络模型，本申请提供一种密度网络模型的训练方法、装置、计算机设备和存储介质。

一种密度网络模型的训练方法，包括：

确定待训练的密度网络模型的模型下采样因子和图像缩放倍数；

根据所述模型下采样因子和图像缩放倍数，确定图像缩放参数；

按照所述图像缩放参数对已标注的训练样本原始图像进行缩放，并将缩放后的已标注的训练样本原始图像转换为训练样本密度图像；

将所述训练样本密度图像和未标注的训练样本原始图像加载至所述密度网络模型，基于所述模型下采样因子对所述密度网络模型进行训练。

在其中一个实施例中，所述将所述训练样本密度图像和未标注的训练样本原始图像加载至所述密度网络模型，包括：

从预设的数值库中生成随机数；

根据预先构建的数值位置对应关系，在所述训练样本密度图像和未标注的训练样本原始图像中确定出与所述随机数对应的位置，作为图像块选取位置；

分别从所述训练样本密度图像和所述未标注的训练样本原始图像中，获取所述图像块选取位置对应的训练样本密度图像块以及未标注的训练样本原始图像块；

将所述训练样本密度图像块以及未标注的训练样本原始图像块输入所述密度网络模型。

在其中一个实施例中，所述分别从所述训练样本密度图像和所述未标注的训练样本原始图像中，获取所述图像块选取位置对应的训练样本密度图像块以及未标注的训练样本原始图像块，包括：

确定以所述未标注的训练样本原始图像的目标尺度为中心的预期尺度波动范围；

根据所述预期尺度波动范围，确定针对于所述训练样本密度图像和所述未标注的训练样本原始图像的图像尺寸缩放比例范围；

随机从所述图像尺寸缩放比例范围中选取图像尺寸缩放比例；

利用所述图像尺寸缩放比例对所述训练样本密度图像和所述未标注的训练样本原始图像进行缩放处理；

分别从缩放处理后的训练样本密度图像和未标注的训练样本原始图像中，获取所述训练样本密度图像块以及未标注的训练样本原始图像块。

在其中一个实施例中，

所述根据所述模型下采样因子和图像缩放倍数，确定图像缩放参数，包括：

将所述模型下采样因子与所述图像缩放倍数之间的乘积值，作为所述图像缩放参数；

所述将缩放后的已标注的训练样本原始图像转换为训练样本密度图像，包括：

获取目标物在所述已标注的训练样本原始图像中对应的尺寸；

按照所述尺寸与所述图像缩放参数之间的比值，将缩放后的已标注的训练样本原始图像转换为所述训练样本密度图像。

在其中一个实施例中，所述按照所述尺寸与所述图像缩放参数之间的比值，将缩放后的已标注的训练样本原始图像转换为所述训练样本密度图像，包括：

按照所述图像缩放参数整数倍，对所述缩放后的已标注的训练样本原始图像进行双线性插值扩充处理；

按照所述尺寸与所述图像缩放参数之间的比值，将扩充处理后的已标注的训练样本原始图像转换为所述训练样本密度图像。

在其中一个实施例中，所述图像缩放倍数为多个；

所述将所述训练样本密度图像和未标注的训练样本原始图像加载至所述密度网络模型之前，所述方法还包括：

获取预设图像缩放倍数下的未标注的初始训练样本原始图像；

根据多个图像缩放倍数对应的图像缩放参数，对所述未标注的初始训练样本原始图像进行缩放处理，得到多个未标注的训练样本原始图像；

所述按照所述图像缩放参数对已标注的训练样本原始图像进行缩放，并将缩放后的已标注的训练样本原始图像转换为训练样本密度图像，包括：

获取预设图像缩放参数下的已标注的初始训练样本原始图像；

根据多个图像缩放倍数对应的图像缩放参数，对所述已标注的初始训练样本原始图像进行缩放处理，得到多个已标注的训练样本原始图像，并将缩放后的多个已标注的训练样本原始图像转换为多个训练样本密度图像。

在其中一个实施例中，所述训练样本原始图像包含精子的训练样本图像；所述密度网络模型被训练用于统计包含有精子的待识别图像所包含的精子的数量。

一种密度网络模型的训练装置，包括：

模型参数确定模块，用于确定待训练的密度网络模型的模型下采样因子和图像缩放倍数；

图像缩放参数确定模块，用于根据所述模型下采样因子和图像缩放倍数，确定图像缩放参数；

密度图像生成模块，用于按照所述图像缩放参数对已标注的训练样本原始图像进行缩放，并将缩放后的已标注的训练样本原始图像转换为训练样本密度图像；

模型训练模块，用于将所述训练样本密度图像和未标注的训练样本原始图像加载至所述密度网络模型，基于所述模型下采样因子对所述密度网络模型进行训练。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

上述密度网络模型的训练方法、装置、计算机设备和存储介质，终端确定待训练的密度网络模型的模型下采样因子和图像缩放倍数，并根据模型下采样因子和图像缩放倍数，确定图像缩放参数，按照图像缩放参数对已标注的训练样本原始图像进行缩放，并将缩放后的已标注的训练样本原始图像转换为训练样本密度图像，将训练样本密度图像和未标注的训练样本原始图像加载至密度网络模型，基于模型下采样因子对密度网络模型进行训练。在对密度网络模型进行训练之前，终端预先根据图像缩放参数和已标注的训练样本原始图像，生成对应的训练样本密度图像，进而在训练时，可以直接将生成的训练样本密度图像和未标注的训练样本原始图像加载至密度网络模型中，基于模型下采样因子对密度网络模型进行训练，实现降低图像精度损失，提高密度网络模型的预测性能的准确性的效果，可以避免由于在密度网络模型中生成训练样本密度图像而导致的密度图像积分值改变，进而导致密度网络模型预测性能准确性低的问题；另外地，预先生成训练样本密度图像，在进行各个训练轮次时，终端可以直接将生成的训练样本密度图像和未标注的训练样本原始图像加载至密度网络模型中，提高训练时间，避免在各个训练轮次中密度网络模型均需进行缩放等处理而导致的训练时间损耗。

附图说明

图1为一个实施例中计算机设备的内部结构图；

图2为一个实施例中精液图像示意图；

图3为一个实施例中密度网络模型的训练方法的流程示意图；

图4为一个实施例中密度网络模型的训练步骤的流程示意图；

图5为另一个实施例中密度网络模型的训练步骤的流程示意图；

图6为又一个实施例中密度网络模型的训练步骤的流程示意图；

图7为再一个实施例中密度网络模型的训练步骤的流程示意图；

图8为一个实施例中对精子图像的精子数量进行预测统计示意图；

图9为一个实施例中密度网络模型的训练装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

本申请提供的密度网络模型的训练方法，可以应用于如图1所示的计算机设备中。该计算机设备可以是终端，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种密度网络模型的训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，在对密度网络模型进行训练过程中，用于训练的图像中包括目标物，目标物可以是精子、卵细胞等；用于训练的图像可以分为未标注的原始图像和已标注的原始图像(需要说明的是，对未标注的原始图像进行标注，可以得到已标注的原始图像)，也可以分别对应称为：未标注的训练样本原始图像和已标注的训练样本原始图像；结合图2，以训练的图像为显微视野下的精子图像为例介绍，对显微视野下未标注的精子图像210包含的精子进行标注，可以得到已标注的精子图像220。

在一个实施例中，如图3所示，提供了一种密度网络模型的训练方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

步骤S301，终端确定待训练的密度网络模型的模型下采样因子和图像缩放倍数。

其中，模型下采样因子为针对密度网络模型的预设的下采样因子，密度网络模型在训练时，利用该模型下采样因子对输入至密度网络模型的图像进行处理；密度网络模型在对图像进行预测推理时，也可以利用该模型下采样因子对输入至密度网络模型的待预测图像进行预测推理。图像缩放倍数可以理解为对模型下采样因子进行处理的倍数值，具体可以是对模型下采样因子进行缩放处理的倍数值，例如图像缩放倍数是0.5，那么图像缩放倍数表征对模型下采样因子进行2倍缩小处理，又例如图像缩放倍数为2，那么图像缩放倍数表征对模型下采样因子进行2倍放大处理。

在本步骤中，终端在确定对训练样本原始图像的图像缩放参数之前，先获取待训练的密度网络模型的模型下采样因子和图像缩放参数，其中，模型下采样因子和图像缩放参数可以是预先在终端上设定的。

步骤S302，终端根据模型下采样因子和图像缩放倍数，确定图像缩放参数。

图像缩放参数为对训练样本原始图像进行缩放的参数，如果图像缩放参数大于模型下采样因子，那么图像缩放参数可以是指图像放大参数，如果图像缩放参数小于模型下采样因子，那么图像缩放参数可以是指图像缩小参数。

在本步骤中，终端根据图像缩放倍数对模型下采样因子进行处理，得到对应的图像缩放参数，例如，图像缩放倍数为0.5、模型下采样因子为4，那么对图像缩放倍数和模型下采样因子进行相乘处理后，得到的乘积值为2(小于模型下采样因子4)，那么图像缩放参数指图像缩小参数。

步骤S303，终端按照图像缩放参数对已标注的训练样本原始图像进行缩放，并将缩放后的已标注的训练样本原始图像转换为训练样本密度图像。

训练样本密度图像是已标注的训练样本原始图像进行密度转换得到的，例如，已标注的精子图像220进行密度转换，得到的图像为精子密度图像；训练样本密度图像用于加载至密度网络模型中，以对密度网络模型进行训练。

以图像缩小参数为2、已标注的精子图像220为例介绍本步骤，终端在得到图像放大参数后，对已标注的精子图像220进行2倍缩小处理，得到2倍缩小处理后的已标注的精子图像，并对2倍缩小处理后的已标注的精子图像进行密度图转换处理，生成对应的用于训练的精子密度图像。

在一个实施例中，为了进一步提高密度网络模型对图像中目标物数量进行统计预测的准确性，在生成训练样本密度图像时，可以根据目标物在已标注的训练样本原始图像中的尺寸进行转换；具体地，步骤S303可以进一步包括：终端获取目标物在已标注的训练样本原始图像中对应的尺寸，按照尺寸与图像缩放参数之间的比值，将缩放后的已标注的训练样本原始图像转换为训练样本密度图像。其中，尺寸可以是已标注的训练样本原始图像中，多个被标注的目标物的平均尺寸。

示例性地，以精子为目标物、图像放大参数为2进行介绍：在本例介绍中，训练样本精子图像包括多个精子，且对训练样本精子图像中的精子进行标注，得到已标注的训练样本精子图像；终端对已标注的训练样本精子图像进行2倍缩小处理；然后终端对多个被标注的精子的尺寸进行平均值计算，得到多个被标注的精子的平均尺寸r；终端在得到平均尺寸r后，计算平均尺寸r与图像放大参数2之间的比值r/2，并按照比值r/2，对2倍缩小处理后的训练样本精子图像进行密度图转换处理，生成训练样本精子密度图像。

在另一个实施例中，为了避免在对生成密度图过程中出现量化导致图像边缘的目标物损失，终端在按照尺寸与图像缩放参数之间的比值，生成训练样本密度图像的步骤中，可以进一步包括：终端按照图像缩放参数整数倍，对缩放后的已标注的训练样本原始图像进行双线性插值扩充处理，然后按照尺寸与图像缩放参数之间的比值，将扩充处理后的已标注的训练样本原始图像转换为训练样本密度图像。

示例性地，仍以上述为例介绍：图像缩放参数为2，那么图像缩放参数的整数倍可以为2*N(其中，N为大于0的自然数，如1、2、3等)，对应地，图像缩放参数的整数倍可以是2、4、6等；终端可以按照与图像缩放参数最接近的整数倍(此时N为1)，对缩放后的已标注的训练样本原始图像进行双线性插值扩充处理，然后按照比值r/2，对2倍缩小处理后的训练样本精子图像进行密度图转换处理，生成训练样本精子密度图像。

步骤S304，终端将训练样本密度图像和未标注的训练样本原始图像加载至密度网络模型，基于模型下采样因子对密度网络模型进行训练。

在终端对密度网络模型进行训练之前，终端完成训练样本密度图像的生成操作；在终端开始对密度网络模型进行训练时，终端可以直接将训练样本密度图像和未标注的训练样本原始图像加载至待训练的密度网络模型中，根据步骤S301得到的模型下采样因子对密度网络模型进行训练。

在上述密度网络模型的训练方法中，终端确定待训练的密度网络模型的模型下采样因子和图像缩放倍数，并根据模型下采样因子和图像缩放倍数，确定图像缩放参数，按照图像缩放参数对已标注的训练样本原始图像进行缩放，并将缩放后的已标注的训练样本原始图像转换为训练样本密度图像，将训练样本密度图像和未标注的训练样本原始图像加载至密度网络模型，基于模型下采样因子对密度网络模型进行训练。在对密度网络模型进行训练之前，终端预先根据图像缩放参数和已标注的训练样本原始图像，生成对应的训练样本密度图像，进而在训练时，可以直接将生成的训练样本密度图像和未标注的训练样本原始图像加载至密度网络模型中，基于模型下采样因子对密度网络模型进行训练，实现降低图像精度损失，提高密度网络模型的预测性能的准确性的效果，可以避免由于在密度网络模型中生成训练样本密度图像而导致的密度图像积分值改变，进而导致密度网络模型预测性能准确性低的问题；另外地，预先生成训练样本密度图像，在进行各个训练轮次时，终端可以直接将生成的训练样本密度图像和未标注的训练样本原始图像加载至密度网络模型中，提高训练时间，避免在各个训练轮次中密度网络模型均需进行缩放等处理而导致的训练时间损耗。

终端在对密度网络模型进行每个训练轮次时，可以直接加载已生成的训练样本密度图像和未标注的训练样本原始图像，进而提高训练速度。

在一个实施例中，为了进一步增加训练密度网络模型时的图像数据多样性，提高密度网络模型对目标物数量进行统计预测的性能，在对密度网络模型进行每个训练轮次时，步骤S304可以进一步包括：

步骤S401，终端从预设的数值库中生成随机数；

其中，终端可以基于代码指令choice＝random()实现，如果设定的数值库范围为0～1，那么对应的代码指令可以为choice＝random(0,1)。

步骤S402，终端根据预先构建的数值位置对应关系，在训练样本密度图像和未标注的训练样本原始图像中确定出与随机数对应的位置，作为图像块选取位置；

数值位置对应关系为随机数值范围与图像块在图像中的位置之间的对应关系，不同的随机数值范围对应不同的位置，如表1所示。

表1

以随机数为0.05为例介绍，终端在基于代码指令choice＝random(0,1)，生成随机数0.05后，根据表1中的对应关系，确定与随机数0.05对应的位置为左上位置，那么终端将左上位置作为图像块选取位置。

步骤S403，终端分别从训练样本密度图像和未标注的训练样本原始图像中，获取图像块选取位置对应的训练样本密度图像块以及未标注的训练样本原始图像块；

仍以左上位置为图像块选取位置为例介绍，终端在确定图像块选取位置为左上位置后，从训练样本密度图像和未标注的训练样本原始图像中，分别选取左上位置的图像块，对应得到训练样本密度图像块和未标注的训练样本原始图像块。

步骤S404，终端将训练样本密度图像块以及未标注的训练样本原始图像块输入密度网络模型。

也就是说，在上述实施例中，在对密度网络模型进行各个训练轮次时，终端在将图像输入至密度网络模型之前，都可以随机确定图像块选取位置，进而选择对应的图像块，进而输入至密度网络模型中，进行对应训练轮次的训练，进而增加训练时的图像数据多样性，提高密度网络模型的预测性能。

进一步地，为了进一步增加训练时的图像数据多样性，步骤S403可以进一步包括：

步骤S501，终端确定以未标注的训练样本原始图像的目标尺度为中心的预期尺度波动范围；

步骤S502，终端根据预期尺度波动范围，确定针对于训练样本密度图像和未标注的训练样本原始图像的图像尺寸缩放比例范围；

其中，图像的目标尺度可以理解为图像缩放参数，例如图像缩放参数为2，那么目标尺度为2倍，又例如图像缩放参数为8(模型下采样因子4与图像缩放倍数2的乘积值)，对应的目标尺度为8倍；预期尺度波动范围可以指用于调整目标尺度的波动范围，并且在调整时以目标尺度为中心进行，进而得到图像尺寸缩放比例范围；例如预期尺度波动范围为(0.95～1.05)，目标尺度为2，那么，根据预期尺度波动范围，得到的图像尺寸缩放比例范围为(1.05～3.05)。

步骤S503，终端随机从图像尺寸缩放比例范围中选取图像尺寸缩放比例；

步骤S504，终端利用图像尺寸缩放比例对训练样本密度图像和未标注的训练样本原始图像进行缩放处理；

终端从图像尺寸缩放比例范围(1.05～3.05)中，随机选取的图像尺寸缩放比例是1.15倍，此时，终端可以将训练样本密度图像和未标注的训练样本原始图像从目标尺度2倍缩放至目标尺度1.15倍。

步骤S505，终端分别从缩放处理后的训练样本密度图像和未标注的训练样本原始图像中，获取训练样本密度图像块以及未标注的训练样本原始图像块。

在一个实施例中，在步骤S505之后，即终端还可以对选取的图像块进行flip(翻转，该翻转可以包括水平方向和竖直方向的翻转)处理和rotate(旋转)扩增处理，进一步增加训练时的图像多样性，提高密度网络模型的推理预测能力。

在一种场景中，如果训练样本原始图像仅有一个目标尺度(即训练样本原始图像仅有一个图像缩放参数)，而密度网络模型存在多个图像缩放倍数，为了实现密度网络模型的多尺度预测推理能力，步骤S303可以进一步包括：

步骤S601，终端获取预设图像缩放参数下的已标注的初始训练样本原始图像；

步骤S602，终端根据多个图像缩放倍数对应的图像缩放参数，对已标注的初始训练样本原始图像进行缩放处理，得到多个已标注的训练样本原始图像，并将缩放后的多个已标注的训练样本原始图像转换为多个训练样本密度图像；

以模型下采样因子为4且图像缩放倍数包括0.5、1、2和4为例进行介绍，此时，对应的目标尺度可以为2、4、8和16；若已标注和未标注的训练样本原始图像的目标尺度均为4倍，此时，终端在获取到目标尺度为4倍的已标注训练样本原始图像后，按照上述四个目标尺度2、4、8、16，对已标注的训练样本原始图像进行对应的缩小或放大处理，得到对应的缩小或放大后的已标注的训练样本原始图像，并进行对应的密度图转换，得到对应目标尺度的训练样本密度图；例如，终端按照目标尺度2倍，对已标注的训练样本原始图像进行2倍缩小处理，得到的已标注的训练样本原始图像的目标尺度为2倍，此时对目标尺度为2倍的已标注的训练样本原始图像进行密度图转换处理，得到训练样本密度图像，可以理解的是，训练样本密度图像的目标尺度为2倍。可以理解的是，终端在完成密度图转换后，得到的训练样本密度图像的目标尺度包括2、4、8和16。

并且，在本实施例中，在步骤S304之前，上述方法还可以包括：

步骤S603，终端获取预设图像缩放倍数下的未标注的初始训练样本原始图像；

步骤S604，终端根据多个图像缩放倍数对应的图像缩放参数，对未标注的初始训练样本原始图像进行缩放处理，得到多个未标注的训练样本原始图像。

仍以未标注的训练样本原始图像的目标尺度为4倍为例介绍，终端在获取到4倍的未标注的训练样本原始图像后，按照目标尺度2、4、8和16，对4倍的未标注的训练样本原始图像进行对应的缩小或放大处理，得到多个未标注的训练样本原始图像，其中，得到的多个未标注的训练样本原始图像的目标尺度包括2、4、8和16。

步骤S605，终端将多个训练样本密度图像和多个未标注的训练样本原始图像加载至密度网络模型，基于模型下采样因子对密度网络模型进行训练。

也就是说，在上述实施例中，终端根据一个目标尺度的已标注的训练样本原始图像，生成多个目标尺度的训练样本密度图像，保证图像中的目标物数量不会有较大损失；终端还根据一个目标尺度的未标注的训练样本原始图像，生成多个目标尺度的未标注的训练样本原始图像，进而根据得到的多个目标尺度的训练样本密度图像和多个目标尺度的未标注的训练样本原始图像进行训练，进一步提高密度网络模型对目标物数量统计的预测性能。

在一个实施例中，为了实现对精液中的精子数量更加精确地统计预测，训练样本原始图像可以是包含精子的训练样本图像；终端对待训练的密度网络模型进行训练，得到的密度网络模型可以用于统计包含有精子的待识别图像所包含的精子的数量。

在一个实施例中，终端在执行密度网络模型的训练方法时，可以包括以下步骤：

步骤S701，确定待训练的密度网络模型的模型下采样因子和图像缩放倍数；

步骤S702，将模型下采样因子与图像缩放倍数之间的乘积值，作为图像缩放参数；

步骤S703，按照图像缩放参数对已标注的训练样本原始图像进行缩放；

步骤S704，按照图像缩放参数整数倍，对缩放后的已标注的训练样本原始图像进行双线性插值扩充处理；

步骤S705，获取目标物在已标注的训练样本原始图像中对应的尺寸，按照尺寸与图像缩放参数之间的比值，将扩充处理后的已标注的训练样本原始图像转换为训练样本密度图像；

步骤S706，根据以未标注的训练样本原始图像的目标尺度为中心的预期尺度波动范围，确定针对于训练样本密度图像和未标注的训练样本原始图像的图像尺寸缩放比例范围；

步骤S707，随机从图像尺寸缩放比例范围中选取图像尺寸缩放比例，并利用所选取的图像尺寸缩放比例，对训练样本密度图像和未标注的训练样本原始图像进行缩放处理；

步骤S708，从预设的数值库中生成随机数，根据预先构建的数值位置对应关系，确定出与随机数对应的位置，作为图像块选取位置；

步骤S709，分别从缩放处理后的训练样本密度图像和未标注的训练样本原始图像中，选取图像块选取位置对应的训练样本密度图像块以及未标注的训练样本原始图像块；

步骤S710，对训练样本密度图像块和未标注的训练样本原始图像块进行flip处理和rotate处理；

步骤S711，将flip处理和rotate处理后的训练样本密度图像块以及未标注的训练样本原始图像块输入密度网络模型，基于模型下采样因子对密度网络模型进行训练。

也就是说，终端在步骤S701-S705中预先构建训练时的训练样本图像集(未标注的训练样本原始图像和训练样本密度图像)，在进行每个轮次的训练时，从预先构建的训练样本图像集中，选择加载至密度网络模型中的图像；并且在每个轮次(即每个epoch)的训练时，终端还对所选择的图像按照图像尺寸缩放比例进行缩放处理，以及随机选取图像块并对图像块进行flip处理和rotate处理；进而终端将flip处理和rotate处理后的图像块加载至密度网络模型中，进行对应轮次的训练。

在对密度网络模型进行训练之前，终端按照步骤S701-S705对已标注的训练样本原始图像双线性插值扩充处理，可以避免在进行密度图转换时量化导致的图像边缘目标物的信息损失；在步骤S706-S707中，终端按照预期尺度波动范围，对训练样本密度图像和未标注的训练样本原始图像进行缩放处理，进而实现训练时的图像多样性，提高密度网络模型的对图像中目标物数量的统计预测性能；在步骤S708-S709中，终端对训练样本密度图像和未标注的训练样本原始图像进行图像块的随机选取，可以增加训练时的图像多样性，缩小图像尺寸，加快训练速度，随机选取可以降低训练时的图像信息丢失可能性；在步骤S710-S711中，终端对训练样本密度图像块以及未标注的训练样本原始图像块进行flip处理和rotate处理，进一步增加训练时的图像多样性。

为了更好地理解上述方法，以下利用显微的精液图像对密度网络模型进行训练，以使密度网络模型对显微的精液图像中精子数量进行统计预测。

一、将显微视野下的精液视频流解析成多帧精液图像，精液图像中包括多个精子(相当于目标物)。对精液图像中精子头部区域进行中心点标注，即每个精子返回其头部中心点的坐标位置x,y。若有多个精子重叠、遮挡，忽略遮挡标注出目标的中心点。

二、根据不同显微倍数(相当于图像的目标尺度)选择不同预处理下采样因子a(a相当于图像缩放参数，a的取值参见三(1)的计算公式)以及精子头部平均半径r/a(精子头部平均半径r相当于其他实施例中的目标物尺寸)，并生成相应的密度图。

密度计数对目标物在图像中的位置容忍一定的偏差，在下采样时对密度图的大小作size align(尺寸对齐处理)，避免量化带来图像的边缘目标物的信息损失：精液图像的原图大小为(width,height)，某个精子的标注坐标为(x0,y0)。在生成密度图时，先利用双线性插值，将原图插值扩充到最接近的下采样整数倍((width//a+1)*a,(height//a+1)*a)，即(width1,height1)，密度图的大小即为W＝width1/a，H＝height1/a。

求出密度图坐标变化的scalex＝W/width，scaley＝H/height，此时再做坐标(x1,y1)的比例变换，x1＝int(x0*scalex)，y1＝int(y0*scaley)，并将密度图的位置初始化为1。

密集场景中心重叠处理：如果有与(x1,y1)重叠的n个精子，密度图的值变为n+1，即有多少个精子就有多少个“1”。

最后，将完成初始化的密度图，以半径r/a生成高斯密度图。

三、精子在原图上平均约占100pixel(像素)，因此构建深度网络模型的模型下采样因子为sa＝4，完成后对密度网络模型进行密度回归训练。

在数据预处理过程通过crop(裁剪，相当于图像块选取)等手段始终保证图像的尺寸一致，使得训练过程中可以进行batch size(批尺寸)>1的训练。数据扩增的顺序不能改变先进行基于密度图像的offline-scale扩增(线下尺寸扩增，即在全部训练轮次中仅扩增一次，相当于步骤S701-S705)，再进行基于密度图像的online-scale(线上尺寸扩增，即各个训练轮次都对应扩增一次，相当于步骤S706-S707)，然后基于密度图像的online-crop扩增(线上裁剪，即各个训练轮次都对应随机裁剪一次，相当于步骤S708-S709)控制输入网络图像的大小尺寸一致；最后在随机加入flip处理和rotate处理(相当于步骤S710-S711)等扩增方式增加图像的多样性。

(1)基于密度图的offline-scale扩增：可以选择的offscale(线下缩放倍数，相当于图像缩放倍数)只有缩小[0.5x,1x,2x,4x]这4个值(可以设置4个均用，也可以设置只使用其中1个。如果选择1个就等于只是做了输入图像的resize，resize即改变图像尺寸大小)，主要目的是为了密度网络模型的多尺度训练、推理的泛化能力，以及精度和时间的折中。图像准备阶段先生成设置的多个或1个尺度的未标注训练图像和密度图像。在训练时按照设定的尺度信息，加载训练过程中随机选择的offscale尺度对应的未标注训练图像和密度图像(a＝offscale*sa)(这里提前生成不同尺度的密度图像，是因为如果不能在密度网络模型中直接对密度图像进行缩放，会改变密度图像的积的值，即计数label值改变)。

(2)基于密度图的online-scale扩增：在(0.95～1.05)小范围内随机选择一个图像尺寸缩放比例，以选择的比例进行online-scale，因为尺度变化很小，密度图积分值得改变几乎可以忽略。所以在训练时，直接对3.2加载得到的图像和密度图进行online-scale的双线性插值缩放。其中，(0.95～1.05)相当于预期尺度波动范围。

(3)基于密度图的online-crop扩增，每个epoch随机选择其中一个图像块选取方式，即增加图像多样性，又使得图像尺寸变小，加快网络训练速度；同时多次随机使得可以取到整个训练图像的数据不会丢失训练数据信息：choice＝random(0,1)；

终端在选取图像块时，可以是使用代码指令choice＝random(0,1)实现，在进行random(0,1)(即从0～1中随机选取)后，得到的随机数赋值给choice：

若choice<0.4对图像集的各张图像从corner(corner：角位置，即图像的左上位置、左下位置、右下位置和右上位置；0.1,0.2,0.3,0.4为界选定对应的corner)为起点或者终点裁剪图像尺寸为输入图像尺寸，得到对应的图像块；

若choice>＝0.4对图像集的各张图像进行随机位置的裁剪得到对应的图像块。

(4)翻转和旋转处理：终端在对图像集的图像进行子图像选取处理后，随机在图像集中的各张图像进行flip(水平和竖直方向翻转)、rotate扩增，以增加图像多样性。

四、利用三(4)中得到的图像块，对密度网络模型进行训练。

五、密度网络模型预测：利用第四部分得到的密度网络模型，对待预测的精液图像进行预测，预测得到对应的密度图像，并对预测的密度图像进行积分，得到待预测的精液图像的精子数量。如图8所示，终端获取待预测的精液图像810后，输入至密度网络模型中，得到的密度图像820并进行积分，得到精子数量的预测统计结果为164，而精子数量的实际统计结果为159，可见密度网络模型的预测性能较好。

应该理解的是，虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图9所示，提供了一种密度网络模型的训练装置，包括：

模型参数确定模块901，用于确定待训练的密度网络模型的模型下采样因子和图像缩放倍数；

图像缩放参数确定模块902，用于根据模型下采样因子和图像缩放倍数，确定图像缩放参数；

密度图像生成模块903，用于按照图像缩放参数对已标注的训练样本原始图像进行缩放，并将缩放后的已标注的训练样本原始图像转换为训练样本密度图像；

模型训练模块904，用于将训练样本密度图像和未标注的训练样本原始图像加载至密度网络模型，基于模型下采样因子对密度网络模型进行训练。

在一个实施例中，模型训练模块904，还用于从预设的数值库中生成随机数；根据预先构建的数值位置对应关系，在训练样本密度图像和未标注的训练样本原始图像中确定出与随机数对应的位置，作为图像块选取位置；分别从训练样本密度图像和未标注的训练样本原始图像中，获取图像块选取位置对应的训练样本密度图像块以及未标注的训练样本原始图像块；将训练样本密度图像块以及未标注的训练样本原始图像块输入密度网络模型。

在一个实施例中，模型训练模块904，还用于确定以未标注的训练样本原始图像的目标尺度为中心的预期尺度波动范围；预期尺度波动范围，确定针对于训练样本密度图像和未标注的训练样本原始图像的图像尺寸缩放比例范围；随机从图像尺寸缩放比例范围中选取图像尺寸缩放比例；利用图像尺寸缩放比例对训练样本密度图像和未标注的训练样本原始图像进行缩放处理；分别从缩放处理后的训练样本密度图像和未标注的训练样本原始图像中，获取训练样本密度图像块以及未标注的训练样本原始图像块。

在一个实施例中图像缩放参数确定模块902，还用于将模型下采样因子与图像缩放倍数之间的乘积值，作为图像缩放参数；

密度图像生成模块903，还用于获取目标物在已标注的训练样本原始图像中对应的尺寸；按照尺寸与图像缩放参数之间的比值，将缩放后的已标注的训练样本原始图像转换为训练样本密度图像。

在一个实施例中，密度图像生成模块903，还用于按照图像缩放参数整数倍，对缩放后的已标注的训练样本原始图像进行双线性插值扩充处理；按照尺寸与图像缩放参数之间的比值，将扩充处理后的训练样本原始图像转换为训练样本密度图像。

在一个实施例中，图像缩放倍数为多个；上述装置还用于：获取预设图像缩放倍数下的未标注的初始训练样本原始图像；根据多个图像缩放倍数对应的图像缩放参数，对未标注的初始训练样本原始图像进行缩放处理，得到多个未标注的训练样本原始图像；

上述装置还用于：获取预设图像缩放参数下的已标注的初始训练样本原始图像；根据多个图像缩放倍数对应的图像缩放参数，对已标注的初始训练样本原始图像进行缩放处理，得到多个已标注的训练样本原始图像，并将缩放后的多个已标注的训练样本原始图像转换为多个训练样本密度图像。

在一个实施例中，训练样本原始图像包含精子的训练样本图像；密度网络模型被训练用于统计包含有精子的待识别图像所包含的精子的数量。

关于密度网络模型的训练装置的具体限定可以参见上文中对于密度网络模型的训练方法的限定，在此不再赘述。上述密度网络模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述各个方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种密度网络模型的训练方法，其特征在于，包括：

确定待训练的密度网络模型的模型下采样因子和图像缩放倍数；

根据所述模型下采样因子和图像缩放倍数，确定图像缩放参数；

按照所述图像缩放参数对已标注的训练样本原始图像进行缩放，并将缩放后的已标注的训练样本原始图像转换为训练样本密度图像；

将所述训练样本密度图像和未标注的训练样本原始图像加载至所述密度网络模型，基于所述模型下采样因子对所述密度网络模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述将所述训练样本密度图像和未标注的训练样本原始图像加载至所述密度网络模型，包括：

从预设的数值库中生成随机数；

根据预先构建的数值位置对应关系，在所述训练样本密度图像和未标注的训练样本原始图像中确定出与所述随机数对应的位置，作为图像块选取位置；

分别从所述训练样本密度图像和所述未标注的训练样本原始图像中，获取所述图像块选取位置对应的训练样本密度图像块以及未标注的训练样本原始图像块；

将所述训练样本密度图像块以及未标注的训练样本原始图像块输入所述密度网络模型。

3.根据权利要求2所述的方法，其特征在于，所述分别从所述训练样本密度图像和所述未标注的训练样本原始图像中，获取所述图像块选取位置对应的训练样本密度图像块以及未标注的训练样本原始图像块，包括：

确定以所述未标注的训练样本原始图像的目标尺度为中心的预期尺度波动范围；

根据所述预期尺度波动范围，确定针对于所述训练样本密度图像和所述未标注的训练样本原始图像的图像尺寸缩放比例范围；

随机从所述图像尺寸缩放比例范围中选取图像尺寸缩放比例；

利用所述图像尺寸缩放比例对所述训练样本密度图像和所述未标注的训练样本原始图像进行缩放处理；

分别从缩放处理后的训练样本密度图像和未标注的训练样本原始图像中，获取所述训练样本密度图像块以及未标注的训练样本原始图像块。

4.根据权利要求1所述的方法，其特征在于，

所述根据所述模型下采样因子和图像缩放倍数，确定图像缩放参数，包括：

将所述模型下采样因子与所述图像缩放倍数之间的乘积值，作为所述图像缩放参数；

所述将缩放后的已标注的训练样本原始图像转换为训练样本密度图像，包括：

获取目标物在所述已标注的训练样本原始图像中对应的尺寸；

按照所述尺寸与所述图像缩放参数之间的比值，将缩放后的已标注的训练样本原始图像转换为所述训练样本密度图像。

5.根据权利要求4所述的方法，其特征在于，所述按照所述尺寸与所述图像缩放参数之间的比值，将缩放后的已标注的训练样本原始图像转换为所述训练样本密度图像，包括：

按照所述图像缩放参数整数倍，对所述缩放后的已标注的训练样本原始图像进行双线性插值扩充处理；

按照所述尺寸与所述图像缩放参数之间的比值，将扩充处理后的已标注的训练样本原始图像转换为所述训练样本密度图像。

6.根据权利要求1所述的方法，其特征在于，所述图像缩放倍数为多个；

所述将所述训练样本密度图像和未标注的训练样本原始图像加载至所述密度网络模型之前，所述方法还包括：

获取预设图像缩放倍数下的未标注的初始训练样本原始图像；

根据多个图像缩放倍数对应的图像缩放参数，对所述未标注的初始训练样本原始图像进行缩放处理，得到多个未标注的训练样本原始图像；

所述按照所述图像缩放参数对已标注的训练样本原始图像进行缩放，并将缩放后的已标注的训练样本原始图像转换为训练样本密度图像，包括：

获取预设图像缩放参数下的已标注的初始训练样本原始图像；

根据多个图像缩放倍数对应的图像缩放参数，对所述已标注的初始训练样本原始图像进行缩放处理，得到多个已标注的训练样本原始图像，并将缩放后的多个已标注的训练样本原始图像转换为多个训练样本密度图像。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述训练样本原始图像包含精子的训练样本图像；所述密度网络模型被训练用于统计包含有精子的待识别图像所包含的精子的数量。

8.一种密度网络模型的训练装置，其特征在于，包括：

模型参数确定模块，用于确定待训练的密度网络模型的模型下采样因子和图像缩放倍数；

图像缩放参数确定模块，用于根据所述模型下采样因子和图像缩放倍数，确定图像缩放参数；

密度图像生成模块，用于按照所述图像缩放参数对已标注的训练样本原始图像进行缩放，并将缩放后的已标注的训练样本原始图像转换为训练样本密度图像；

模型训练模块，用于将所述训练样本密度图像和未标注的训练样本原始图像加载至所述密度网络模型，基于所述模型下采样因子对所述密度网络模型进行训练。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images