CN111932545A - 图像处理方法、目标计数方法及其相关装置 - Google Patents

Abstract

本申请提供图像处理方法、目标计数方法及其相关装置。该图像处理方法包括：对待处理图像进行特征提取，得到待处理图像的特征图；从特征图中提取候选特征图；对候选特征图进行分割，得到候选特征图的分割掩码图；基于分割掩码图中目标掩码图，确定同一个目标对应的多个分割掩码图；将同一个目标对应的多个分割掩码图中的一个分割掩码图作为目标的最终分割掩码图。本申请的方法可以提高待处理图像中目标密集时图像的检测准确性。

Description

图像处理方法、目标计数方法及其相关装置

技术领域

本申请涉及图像处理技术领域，特别是涉及图像处理方法、目标计数方法及其相关装置。

背景技术

在对图像处理的过程中，往往需要将图像中的目标检测出来。本申请的发明人在长期的研发过程中，发现目前图像处理方法还存在一定的局限性，例如待处理图像中目标密集时图像的检测准确性过低。

发明内容

本申请提供图像处理方法、目标计数方法及其相关装置，以解决待处理图像中目标密集时图像的检测准确性过低的问题。

为解决上述问题，本申请提供一种图像处理方法，该方法包括：

对待处理图像进行特征提取，得到待处理图像的特征图；

从特征图中提取候选特征图；

对候选特征图进行分割，得到候选特征图的分割掩码图；

基于分割掩码图中目标掩码图，确定同一个目标对应的多个分割掩码图；

将同一个目标对应的多个分割掩码图中的一个分割掩码图作为目标的最终分割掩码图。

其中，“基于分割掩码图中目标掩码图，确定同一个目标对应的多个分割掩码图”，包括：

确定多个分割掩码图中目标掩码图之间的交并比；

基于交并比确认同一个目标对应的多个分割掩码图。

其中，“从特征图中提取候选特征图”，之后包括：确定候选特征图属于目标的概率值；

“将同一个目标对应的多个分割掩码图中的一个分割掩码图作为目标的最终分割掩码图”，包括：将同一个目标对应的多个分割掩码图中概率值最大的分割掩码图，作为目标的最终分割掩码图。

其中，“从特征图中提取候选特征图”，之后包括：确定候选特征图的类别信息和位置偏移量。

其中，方法基于实例分割网络实现图像处理；

方法还包括：利用repulsion损失函数基于候选特征图的位置偏移量计算实例分割网络的检测回归损失，计算实例分割网络的检测分类损失、分割分类损失和掩码图损失；

利用检测回归损失、检测分类损失、分割分类损失和掩码图损失计算损失；

基于损失训练实例分割网络。

为解决上述问题，本申请提供一种目标计数方法，该方法包括：

基于上述的图像处理方法，确定待处理图像中所有目标的最终分割掩码图；

基于最终分割掩码图确定待处理图像中目标的个数。

其中，“基于最终分割掩码图确定待处理图像中目标的个数”，包括：

将待处理图像的最终分割掩码图的个数作为待处理图像中目标的个数；或，

将最终分割掩码图对应的候选框作为目标的检测框，将待处理图像的检测框的个数作为待处理图像中目标的个数。

为解决上述问题，本申请提供一种图像处理装置，该装置包括特征提取单元、候选特征图生成单元、分割单元和目标过滤单元；

特征提取单元用于对待处理图像进行特征提取，得到待处理图像的特征图；

候选特征图生成单元用于从特征图中提取候选特征图；

分割单元用于对候选特征图进行分割，得到候选特征图的分割掩码图；

目标过滤单元用于基于分割掩码图中目标掩码图，确定同一个目标对应的多个分割掩码图；将同一个目标对应的多个分割掩码图中的一个分割掩码图，作为目标的最终分割掩码图。

为解决上述问题，本申请还提供一种电子设备，该电子设备包括相互耦接的存储器和处理器，存储器用于存储程序指令，处理器用于执行程序指令以实现上述任一项的方法。

为解决上述问题，本申请还提供一种计算机可读存储介质，该计算机可读存储介质包括存储有能够实现上述任一项的方法的程序文件。

本申请的方法是：通过分割掩码图中目标掩码图确认同一个目标的多个分割掩码图，这样因为不同的目标对应的分割掩码图中目标掩码图之间重叠部分相对较小，可以降低目标密集情况下目标的预测结果被过滤的概率，可以提高密集情况下确定每一个目标的候选框的精确度，以提高待处理图像中目标密集时图像的检测准确性。

附图说明

为了更清楚地说明本申请实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请图像处理方法第一实施方式的流程示意图；

图2是本申请图像处理方法中特征提取网络的结果示意图；

图3是本申请图像处理方法中实例分割网络的结构示意图；

图4是本申请图像处理方法第二实施方式的流程示意图；

图5是本申请目标计数方法一实施方式的流程示意图；

图6是本申请目标计数方法一实施方法的计数示意图；

图7是本申请目标计数方法另一实施方法的计数示意图；

图8是本申请目标计数方法中参数配置的示意图；

图9是本申请图像处理装置一实施例的结构示意图；

图10是本申请电子设备一实施例的结构示意图；

图11是本申请计算机可读存储介质一实施例的结构示意图。

具体实施方式

为使本领域的技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对本申请所提供的图像处理方法、目标计数方法及其相关装置做进一步详细描述。

图像处理过程中，一般通过对候选框进行比较，确定属于同一个目标的所有候选框，进而基于同一个目标的所有候选框确定该目标的检测框。但是在待处理图像中目标比较密集的情况下，两个紧密挨着的目标的候选框会出现很多重叠的情况，这样根据重叠面积或交并比过滤后可能会将其中一个目标的所有候选框全部滤掉，最终只会确认一个目标的检测框，影响检测结果。基于此，本申请提出以下图像处理方法以解决待处理图像中目标密集时图像的检测准确性过低的问题。

具体请参阅图1，图1是本申请图像处理方法第一实施方式的流程示意图。其中图像处理方法可用于确定待处理图像中每一目标的最终分割掩码图。目标可以是人、动物、植物等各种物体。例如，目标可以是猪、羊或牛等动物。待处理图像是指包含目标的图像。本实施方式图像处理方法包括以下步骤。

S101：对待处理图像进行特征提取，得到待处理图像的特征图。

可以通过任意具有特征提取功能的网络对待处理图像进行特征提取，以获得待处理图像的特征图。

例如，可以通过VGG16、resnet-18或resnet-50等特征提取网络提取待处理图像的特征。

示例性地，待处理图像经过resnet-50中卷积、BN、relu三步及多个残差结构Res等50层的网络结构的处理，得到特征图。其中，如图2所示，残差结构Res由若干个卷积层、BN和relu和一个跳跃的连接组成，主要作用是使网络在层数加深的情况下，结果仍保持较优的效果。

S102：从特征图中提取候选特征图。

可以用多个不同尺寸的滑动窗口在特征图上进行滑动，以确定特征图上的多个基本候选框，然后基于基本候选框内的特征从所有基本候选框中选择预定数量个候选框，接着根据候选框在特征图中提取候选特征图。

其中，可以通过基本候选框内的特征图，判断基本候选框内的特征属于目标的概率，将概率最大的预定数量个基本候选框作为选定的预定数量个候选框。

另外，可以通过多个不同尺寸的滑动窗口检测尺寸不同的目标。另外，滑动窗口的尺寸可以由特征图的尺寸与目标大小比例进行确定。

在本实施方式中，通过RPN确定特征图上的多个基本候选框，并基于基本候选框确定预定数量个候选框，相当于确定目标可能出现的位置，以让后续的网络可以对预定数量个候选框内的特征进行处理，以确定目标真正出现的位置。另外，在确定预定数量个候选框后，可以将候选框的特征映射到一个低维特征，并将该特征输入到后续网络中，以方便后续网络对候选框进行分类、回归和分割的处理。

S103：对候选特征图进行分割得到候选特征图的分割掩码图。

在步骤S103中，可以先确定候选特征图中每一像素点是否属于目标，然后基于候选特征图中所有像素点是否属于目标的确认结果，得到候选特征图的分割掩码图。可选地，目标在候选特征图的分割掩码图中对应像素点的像素值为第一值，非目标在候选特征图的分割掩码图中对应像素点的像素值为第二值。其中，第一值和第二值可以设置为任意值，只要第一值和第二值不相同即可。例如第一值为255，第二值为0。

S104：基于所有分割掩码图中目标掩码图，确定同一个目标对应的多个分割掩码图。

在一实现方式中，可以对所有候选特征图的分割掩码图进行两两对比。可选地，可以确认两个候选特征图的分割掩码图中目标掩码图之间的重叠面积和交并比是否大于第一阈值，若大于第一阈值，则确认两个分割掩码图属于同一个目标，若小于第一阈值，则可以确认两个分割掩码图不属于同一个目标。

在另一实现方式中，还可以将所有候选特征图的分割掩码图与待处理图像中的多个目标的真实轮廓进行对比。可选地，可以确认每一分割掩码图中目标掩码图与待处理图像中各个目标的真实轮廓的重叠面积或交并比是否大于第二阈值，若存在一分割掩码图中目标掩码图与一目标的真实轮廓的重叠面积或交并比大于第二阈值，则该分割掩码图属于该目标。

在又一实现方式中，可以将所有候选特征图的分割掩码图进行两两对比，并将所有候选特征图的分割掩码图与待处理图像中的多个目标的真实轮廓进行对比，以确认同一个目标对应的多个分割掩码图。

S105：将同一个目标对应的多个分割掩码图中的一个分割掩码图作为目标的最终分割掩码图。

其中，可以基于同一个目标对应的多个分割掩码图的属性，从同一个目标对应的多个分割掩码图中选择一个分割掩码图作为目标的最终分割掩码图。

在一实现方式中，在步骤S105之前，可以先确定同一个目标对应的候选框属于目标的概率值，然后在步骤S105中从同一个目标对应的多个分割掩码图中，选择对应的候选框的概率值最大的分割掩码图作为目标的最终分割掩码图。

在另一实现方式中，可以将同一个目标对应的多个分割掩码图中目标轮廓完整的至少一个分割掩码图的任意一个分割掩码图作为目标的最终分割掩码图。

在本实现方式中，通过分割掩码图中目标掩码图确认属于同一个目标的多个分割掩码图，这样因为不同的目标对应的分割掩码图中目标掩码图之间重叠部分相对较小，可以降低目标密集情况下目标的预测结果被过滤的概率，可以提高密集情况下确定每一个目标的候选框的精确度，以提高待处理图像中目标密集时图像的检测准确性。

另外，本申请的图像处理方法可以基于实例分割网络实现图像处理，具体可通过实例分割网络对待处理图像进行目标检测与轮廓分割。如图3所示，实例分割网络可以为Mask-rcnn网络，其可以包括基础网络部分、RPN(Region Proposal Network，区域生成网络)部分、检测分支及分割分支。特征提取层、融合注意力层和目标分割层。当然还可以通过本申请图像分割方法训练实例分割网络。具体请参阅图4，图4是本申请图像处理方法第二实施方式的流程示意图。本实施方式图像处理方法包括以下步骤。

S201：利用基础网络部分对待处理图像进行特征提取，得到待处理图像的特征图。

具体步骤可参见步骤S101，在此不做赘述。

S202：利用RPN部分从特征图中提取候选特征图。

可以理解的是，步骤S202包括：利用特征图生成候选框；根据候选框从特征图中提取候选特征图。

其中，利用特征图生成候选框可以包括：按照预设尺寸和预设比例在特征图的每一像素点上生成多个基本候选框，以得到特征图的多个基本候选框；从特征图的所有基本候选框中选取预定数量个候选框。

可以理解的是，根据候选框从特征图中提取候选特征图可以指将特征图中候选框内包括的特征部分作为候选框对应的候选特征图。

另外，还可以将候选特征图的尺寸统一化，即可以使RPN输出的所有候选特征图的宽相同，并使RPN输出的所有候选特征图的高相同，以方便检测分支和分割分支对候选特征图进行检测处理和分割处理。

S203：利用检测分支确定候选特征图的类别信息和位置偏移量。

由于RPN只是粗略的生成目标可能存在的位置，所生成的位置有很大概率并不准确，可以通过检测分支对候选框的尺寸进行更加精细的位置调节，同时可以对候选框进行更加精细地分类，以准确地确认候选框的类别。

检测分支接收RPN部分输出的候选特征图，然后对获取的候选特征图进行一系列卷积、BN、relu层的计算，可获得两类输出，一是候选特征图的类别信息；二是候选框的位置偏移量及其置信度。其中位置偏移量包括候选框坐标的偏移量(即目标左上角坐标的x,y偏移量)和候选框宽高的偏移量，可结合候选框当前坐标和尺寸将该位置偏移量转换为候选框实际的坐标和尺寸，从而确定目标位置的候选框。

另外，候选特征图的类别信息可以包括候选特征图所属类别和候选特征图属于相应类别的概率值。

S204：利用分割分支对候选特征图进行分割得到候选特征图的分割掩码图。

分割分支的输入也是RPN的输出的候选特征图。可以理解的是，分割的实质是区分候选特征图上每一像素点是否为目标。因此分割分支主要作用是将RPN的输出的每个候选特征图中每一像素点进行前景与背景的训练，由于每个候选特征图中每一像素点均对应原图的一个区域，因此对候选特征图中每一像素点的训练相当于将原图的该像素点对应的区域分成前景和背景，以此来实现目标分割，进而实现目标轮廓的提取。

另外，对分割掩码图中目标的边缘进行提取，可以获得目标的轮廓。

S205：基于所有分割掩码图中目标掩码图，确定同一个目标对应的多个分割掩码图。

具体步骤可参见步骤S104，在此不做赘述。

S206：将同一个目标对应的多个分割掩码图中的一个分割掩码图作为目标的最终分割掩码图。

具体步骤可参见步骤S105，在此不做赘述。

S207：利用repulsion损失函数并基于候选特征图的位置偏移量计算实例分割网络的检测回归损失，计算实例分割网络的检测分类损失、分割分类损失和掩码图损失。

可选地，可以将目标的最终分割掩码图对应的候选特征图作为目标的检测框，并基于检测框的位置偏移量计算实例分割网络的检测回归损失。

本申请利用repulsion损失函数计算实例分割网络的检测回归损失，可以增大检测框和其负责的目标的距离，同时减小检测框与周围非负责目标的距离，以避免密集场景下目标的检测框容易受到周围目标的影响而容易输出一个在两个目标之间的检测框，从而使检测框更加贴合其对应的目标的真实坐标和尺寸，从而提升密集场景下的检测效果。

S208：利用检测回归损失、检测分类损失、分割分类损失和掩码图损失计算损失。

S209：基于损失训练实例分割网络。

可以理解的是，在以本申请图像处理方法训练实例分割网络时，可以采集图像数据，并对采集的图像中出现的目标的轮廓利用多边形进行标注，将采集到的图像数据划分为训练集和测试集，其中训练集作为训练实例分割网络的输入图像，测试集作为实例分割网络效果验证的输入图像；随后，将训练集数据输入实例分割网络，基于实例分割网络提取图像特征，进行模型训练；最后，输入测试集数据，实例分割网络将输出检测所得的目标区域，为目标的外接矩形和/或轮廓。

进一步地，基于上述图像处理方法得到的每一目标的最终分割掩码图，可以对待处理图像中目标的个数进行统计，或者可以对每一目标进行体重估计、行为分析，或者可以对区域内温度等局部信息的获取。

下述目标计数方法详细描述如何通过所有目标的最终分割掩码图确定待处理图像中目标的个数，具体可参见图5，本实施方式目标计数方法包括以下步骤。

S301：基于上述的图像处理方法，确定待处理图像中所有目标的最终分割掩码图。

可以理解的是，在步骤S301之前，可以先获得待处理图像。待处理图像可以由摄像装置拍摄而来。其中，摄像装置可以设置在能够清晰地且不受遮挡地拍摄目标的区域。例如，在猪舍里拍摄猪的摄像装置可以安装在猪舍上方。

S302：基于最终分割掩码图确定待处理图像中目标的个数。

在一实现方式中，如图6所示，可以统计待处理图像的最终分割掩码图的个数，并将待处理图像的最终分割掩码图的个数作为待处理图像中目标的个数。

在另一实现方式中，如图7所示，将最终分割掩码图对应的候选框作为目标的检测框，统计待处理图像的检测框的个数，并将待处理图像的检测框的个数作为待处理图像中目标的个数。

可以理解的是，如果目标有多种，应用本申请目标计数方法可以统计每种目标的数量，例如本申请目标计数方法可以统计待处理图像中猪的数量、羊的数量和牛的数量等。

另外，在步骤S301之前，还可以先进行参数配置，划定目标数量统计的区域。例如目标为猪时，如图8所示，可以按照猪舍统计区域的实际区域需求划定检测区域，通常为一个猪舍，也可用任意多边形划定一块区域作为统计区域。

具体请参阅图9，图9是本申请图像处理装置10一实施方式的结构示意图。本实施方式的图像处理装置10包括特征提取单元11、候选特征图生成单元12、分割单元13和目标过滤单元14。

其中，特征提取单元11用于对待处理图像进行特征提取，得到待处理图像的特征图。

候选特征图生成单元12用于从特征图中提取候选特征图。

分割单元13用于对候选特征图进行分割，得到候选特征图的分割掩码图。

目标过滤单元14用于基于分割掩码图，确定同一个目标对应的多个分割掩码图；将同一个目标对应的多个分割掩码图中的一个分割掩码图，作为目标的最终分割掩码图。

进一步地，目标过滤单元14可用于确定多个所述分割掩码图中目标掩码图之间的交并比；基于所述交并比确认同一个目标对应的多个分割掩码图。

进一步地，图像处理装置10还可以包括检测单元。

检测单元可用于确定候选特征图属于目标的概率值。

目标过滤单元14可用于将同一个目标对应的多个分割掩码图中概率值最大的分割掩码图，作为所述目标的最终分割掩码图。

进一步地，检测单元可用于确定所述候选特征图所属类别信息和位置偏移量。

进一步地，图像处理装置10还可以包括训练单元。

训练单元可用于利用repulsion损失函数并基于所述候选特征图的位置偏移量计算所述实例分割网络的检测回归损失，计算所述实例分割网络的检测分类损失、分割分类损失和掩码图损失；利用检测回归损失、检测分类损失、分割分类损失和掩码图损失计算损失；基于所述损失训练所述实例分割网络。

请参阅图10，图10是本申请电子设备一实施方式的结构示意图。本电子设备20包括相互耦接的存储器21和处理器22，存储器21用于存储程序指令，处理器22用于执行程序指令以实现上述任一实施方式的方法。

上述图像处理方法和目标计数方法的逻辑过程以程序文件呈现，在程序文件方面，若其作为独立的软件产品销售或使用时，其可存储在计算机可读存储介质中，因而本申请提出一种计算机可读存储介质。请参阅图11，图11是本申请计算机可读存储介质一实施方式的结构示意图，本实施方式计算机可读存储介质30中存储有能够实现上述的方法的程序文件31。

该计算机可读存储介质30具体可以为U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory，)、磁碟或者光盘等可以存储程序文件的介质，或者也可以为存储有该程序文件的服务器，该服务器可将存储的程序文件发送给其他设备运行，或者也可以自运行该存储的程序文件。该计算机可读存储介质30从物理实体上来看，可以为多个实体的组合，例如多个服务器、服务器加存储器、或存储器加移动硬盘等多种组合方式。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

对待处理图像进行特征提取，得到所述待处理图像的特征图；

从所述特征图中提取候选特征图；

对所述候选特征图进行分割，得到所述候选特征图的分割掩码图；

基于所述分割掩码图中目标掩码图，确定同一个目标对应的多个分割掩码图；

将同一个目标对应的多个分割掩码图中的一个分割掩码图作为所述目标的最终分割掩码图。

2.根据权利要求1所述的图像处理方法，其特征在于，所述“基于所述分割掩码图中目标掩码图，确定同一个目标对应的多个分割掩码图”，包括：

确定多个所述分割掩码图中目标掩码图之间的交并比；

基于所述交并比确认同一个目标对应的多个分割掩码图。

3.根据权利要求1所述的图像处理方法，其特征在于，所述“从所述特征图中提取候选特征图”，之后包括：确定所述候选特征图属于目标的概率值；

所述“将同一个目标对应的多个分割掩码图中的一个分割掩码图作为所述目标的最终分割掩码图”，包括：将同一个目标对应的多个分割掩码图中概率值最大的分割掩码图，作为所述目标的最终分割掩码图。

4.根据权利要求1所述的图像处理方法，其特征在于，所述“从所述特征图中提取候选特征图”，之后包括：确定所述候选特征图的类别信息和位置偏移量。

5.根据权利要求4所述的图像处理方法，其特征在于，所述方法基于实例分割网络实现图像处理；

所述方法还包括：利用repulsion损失函数基于所述候选特征图的位置偏移量计算所述实例分割网络的检测回归损失，计算所述实例分割网络的检测分类损失、分割分类损失和掩码图损失；

利用检测回归损失、检测分类损失、分割分类损失和掩码图损失计算损失；

基于所述损失训练所述实例分割网络。

6.一种目标计数方法，其特征在于，所述方法包括：

基于权利要求1-5任一项所述的图像处理方法，确定待处理图像中所有目标的最终分割掩码图；

基于所述最终分割掩码图确定所述待处理图像中目标的个数。

7.根据权利要求6所述的目标计数方法，其特征在于，所述“基于所述最终分割掩码图确定所述待处理图像中目标的个数”，包括：

将所述待处理图像的最终分割掩码图的个数作为待处理图像中目标的个数；或，

将所述最终分割掩码图对应的候选框作为目标的检测框，将所述待处理图像的检测框的个数作为待处理图像中目标的个数。

8.一种图像处理装置，其特征在于，所述装置包括：

特征提取单元，用于对待处理图像进行特征提取，得到所述待处理图像的特征图；

候选特征图生成单元，用于从所述特征图中提取候选特征图；

分割单元，用于对所述候选特征图进行分割，得到所述候选特征图的分割掩码图；

目标过滤单元，用于基于所述分割掩码图中目标掩码图，确定同一个目标对应的多个分割掩码图；将同一个目标对应的多个分割掩码图中的一个分割掩码图，作为所述目标的最终分割掩码图。

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1-7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

Images