CN115661178A

CN115661178A - 分割罐印图像的方法和装置

Info

Publication number: CN115661178A
Application number: CN202211460867.6A
Authority: CN
Inventors: 张智; 滕慧慧; 曹晨思; 程京
Original assignee: CapitalBio Corp
Current assignee: CapitalBio Corp
Priority date: 2022-11-17
Filing date: 2022-11-17
Publication date: 2023-01-31

Abstract

本申请提供一种分割罐印图像的方法和装置，方法包括，获得待分割罐印图像；通过预先训练的罐印分割网络处理待分割罐印图像，获得待分割罐印图像的外圈掩膜和内圈掩膜；将待分割罐印图像的外圈掩膜和内圈掩膜合并得到环状掩膜；从待分割罐印图像中，分割出被环状掩膜覆盖的区域，作为标准罐印图像。本方案通过神经网络确定用于分割罐印图像的环状掩膜，再利用该环状掩膜分割出标准罐印图像，提高了分割罐印图像的准确度。

Description

分割罐印图像的方法和装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种分割罐印图像的方法和装置。

背景技术

罐印是指拔罐起罐后，皮肤表面在吸拔部位出现的点片状紫红色淤点或瘀斑。在拔罐这一中医理疗方法中，医师常常需要结合罐印的颜色（可以简称罐色）和其他信息对人体健康状态做出初步判断。因此，如何准确获得罐印图像就显得尤为重要。

拔罐起罐后，直接利用摄像设备对罐内的皮肤表面拍摄得到的原始罐印图像中，由于如图1所示的罐的结构，其外围和中心处会包含一部分没有罐印（即点片状紫红色淤点或瘀斑）的皮肤区域（如图2所示）。显然若直接基于该原始罐印图像进行后续的分析（例如根据原始罐印图像判断罐印颜色），则获得的分析结果的准确度会偏低。

为此，现有的一种分割罐印图像的方法是，利用RGB或HSV等色彩空间取单个或者多个通道的值，统计所述罐斑图像边缘内外两类的类间方差，获取方差最大时的阈值作为分割阈值，然后利用阈值分割方法分割原始罐印图像，获取只包含罐印覆盖区域的标准罐印图像（也可以称为罐斑图像）。

上述现有技术的问题在于，准确度较低，当某些特定场景下有罐印区域和没有罐印区域的方差较接近时该方法就无法准确地分割出标准罐印图像。

发明内容

针对上述现有技术的缺点，本发明提供一种分割罐印图像的方法和装置，以提供一种更准确的分割罐印图像的方案。

本申请第一方面提供一种分割罐印图像的方法，包括：

获得待分割罐印图像；

通过预先训练的罐印分割网络处理所述待分割罐印图像，获得所述待分割罐印图像的外圈掩膜和内圈掩膜；

将所述待分割罐印图像的外圈掩膜和内圈掩膜合并得到环状掩膜；

从所述待分割罐印图像中，分割出被所述环状掩膜覆盖的区域，作为标准罐印图像。

可选的，训练所述罐印分割网络的过程包括：

确定训练样本；其中，每一个所述训练样本，均包括样本罐印图像，所述样本罐印图像对应的标注外圈掩膜和标注内圈掩膜；

用待训练的罐印分割网络处理所述训练样本所含的所述样本罐印图像，获得所述样本罐印图像对应的预测外圈掩膜和预测内圈掩膜；

根据所述样本罐印图像对应的标注外圈掩膜和标注内圈掩膜，以及所述样本罐印图像对应的预测外圈掩膜和预测内圈掩膜，确定所述待训练的罐印分割网络的网络损失；

判断所述网络损失是否满足预设的训练结束条件；

若所述网络损失不满足所述训练结束条件，根据所述网络损失更新所述待训练的罐印分割网络的参数，返回执行所述用待训练的罐印分割网络处理所述训练样本所含的所述样本罐印图像，获得所述样本罐印图像对应的预测外圈掩膜和预测内圈掩膜步骤，直至所述网络损失满足所述训练结束条件为止。

可选的，所述根据所述样本罐印图像对应的标注外圈掩膜和标注内圈掩膜，以及所述样本罐印图像对应的预测外圈掩膜和预测内圈掩膜，确定所述待训练的罐印分割网络的网络损失，包括：

根据所述样本罐印图像对应的标注外圈掩膜和标注内圈掩膜，相对于所述样本罐印图像对应的预测外圈掩膜和预测内圈掩膜之间的偏差，计算得到掩膜损失；

根据所述预测外圈掩膜的几何参数和所述预测内圈掩膜的几何参数，计算得到圆度损失；

按照所述掩膜损失对应的掩膜权重和所述圆度损失对应的圆度权重，将所述掩膜损失和所述圆度损失加权求和，获得所述训练样本的网络损失；

根据所述训练样本的网络损失确定所述待训练的罐印分割网络的网络损失。

可选的，所述将所述待分割罐印图像的外圈掩膜和内圈掩膜合并得到环状掩膜之前，还包括：

对所述待分割罐印图像的外圈掩膜进行腐蚀处理，获得腐蚀后的外圈掩膜；

对所述待分割罐印图像的内圈掩膜进行膨胀处理，获得膨胀后的内圈掩膜；

所述将所述待分割罐印图像的外圈掩膜和内圈掩膜合并得到环状掩膜，包括：

将所述腐蚀后的外圈掩膜和所述膨胀后的内圈掩膜合并得到环状掩膜。

可选的，所述通过预先训练的罐印分割网络处理所述待分割罐印图像，获得所述待分割罐印图像的外圈掩膜和内圈掩膜之前，还包括：

将所述待分割罐印图像的尺寸调整为适配所述罐印分割网络的目标尺寸。

本申请第二方面提供一种分割罐印图像的装置，包括：

获得单元，用于获得待分割罐印图像；

处理单元，用于通过预先训练的罐印分割网络处理所述待分割罐印图像，获得所述待分割罐印图像的外圈掩膜和内圈掩膜；

合并单元，用于将所述待分割罐印图像的外圈掩膜和内圈掩膜合并得到环状掩膜；

分割单元，用于从所述待分割罐印图像中，分割出被所述环状掩膜覆盖的区域，作为标准罐印图像。

可选的，所述装置还包括用于训练所述待训练罐印分割网络的训练单元；

所述训练单元训练所述罐印分割网络时，具体用于：

判断所述网络损失是否满足预设的训练结束条件；

可选的，所述训练单元根据所述样本罐印图像对应的标注外圈掩膜和标注内圈掩膜，以及所述样本罐印图像对应的预测外圈掩膜和预测内圈掩膜，确定所述待训练的罐印分割网络的网络损失时，具体用于：

可选的，所述合并单元将所述待分割罐印图像的外圈掩膜和内圈掩膜合并得到环状掩膜之前，还用于：

所述合并单元将所述待分割罐印图像的外圈掩膜和内圈掩膜合并得到环状掩膜时，具体用于：

可选的，所述获得单元还用于：

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为一种拔罐时使用的罐的结构示意图；

图2为一种利用现有摄像设备拍摄得到的原始罐印图像的示意图；

图3为本申请实施例提供的一种分割罐印图像的方法的流程图；

图4为本申请实施例提供的一种分割罐印图像的方法的执行过程示例图；

图5为本申请实施例提供的一种罐印分割网络的训练过程示意图；

图6为本申请实施例提供的一种分割罐印图像的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图3，为本申请实施例提供的一种分割罐印图像的方法的流程图，该方法可以包括如下步骤。

S301，获得待分割罐印图像。

待分割罐印图像，可以是在拔罐起罐后，直接利用摄像设备对罐覆盖范围内的皮肤表面拍摄得到的罐印图像。

由于图1所示的罐的结构的影响，按上述方式拍摄得到的待分割罐印图像，其外围一圈和中心处会存在如图2所示的未被罐印覆盖的区域，本实施例所提供的方法，目的就在于准确地从待分割罐印图像中，分割出被罐印覆盖的皮肤区域，过滤掉图2所示的未被罐印覆盖的区域。

S302，通过预先训练的罐印分割网络处理待分割罐印图像，获得待分割罐印图像的外圈掩膜和内圈掩膜。

S302中用到的罐印分割网络，可以是预先利用多个训练样本训练得到的深度学习网络，本实施例对使用的深度学习网络的具体结构不做限定，例如，该罐印分割网络可以是U-net、mask-Rcnn、FCN、R-FCN、Segnet、DeepLabV1、DeepLabV2、DeepLabV3中的任意一种网络。

作为一个示例，步骤S302中所用的罐印分割网络可以是U-net结构的深度学习网络，即U-net网络，相比于上面列举的其他结构的网络，U-net网络对医学方面的任务特别友好，该网络的特点使用了overlap-tile策略：当卷积部分超出图片边缘的位置时，对边缘部分使用镜像操作进行边缘扩充填补超出图片的位置，可以防止信息丢失，以提高检测准确度。

本实施例中的掩膜，可以理解为一个仅包含简单的几何图形（例如圆形或椭圆形，或者圆环或椭圆环）的图像，其中的几何图形的尺寸和位置由罐印分割网络处理待分割罐印图像后确定。

具体的，待分割罐印图像的外圈掩膜中包含一个圆形或类椭圆形的曲线，外圈掩膜的曲线可以视为待分割罐印图像中被罐印覆盖的区域外侧的边界；内圈掩膜同样包含一个圆形或类椭圆形的曲线，内圈掩膜的曲线可以视为待分割罐印图像中被罐印覆盖的区域内侧的边界。

为了便于理解，请参见图4，为本申请实施例提供的一种分割罐印图像的方法的执行过程示例图。

可以看到，待分割罐印图像包含被罐印覆盖的区域和未被罐印覆盖的区域，经过步骤S302处理后，可以从待分割罐印图像中确定出被罐印覆盖区域的外侧边界，即图4所示的外圈掩膜，以及被罐印覆盖区域的内侧边界，即图4所示的内圈掩膜。

在一些可选的实施例中，为了提高罐印分割网络的处理效率，可以在执行S302之前执行如下步骤：

将待分割罐印图像的尺寸调整为适配罐印分割网络的目标尺寸。

该目标尺寸可以根据罐印分割网络的参数配置设定，此处不做限定。

此外还可以在S302之前对待分割罐印图像进行预处理，例如对待分割罐印图像进行白平衡处理等。

S303，将待分割罐印图像的外圈掩膜和内圈掩膜合并得到环状掩膜。

继续结合图4，可以看到，外圈掩膜和内圈掩膜的图像尺寸相同，因此在S303中，可以直接将外圈掩膜和内圈掩膜叠放在一起，获得图4所示的环状掩膜。

在一些可选的实施例中，在执行步骤S303之前，还可以执行如下步骤：

对待分割罐印图像的外圈掩膜进行腐蚀处理，获得腐蚀后的外圈掩膜；

对待分割罐印图像的内圈掩膜进行膨胀处理，获得膨胀后的内圈掩膜。

对图像进行腐蚀处理，可以减小图像中的高亮区域，对图像进行膨胀处理，则可以扩大图像中的高亮区域，腐蚀处理和膨胀处理的具体处理过程，可以参见图像处理领域的相关技术，此处不再赘述。

对应的，如果进行了上述腐蚀和膨胀处理，那么步骤S303可以调整为：

将腐蚀后的外圈掩膜和膨胀后的内圈掩膜合并得到环状掩膜。

进行上述腐蚀膨胀处理的好处在于，进行腐蚀、膨胀操作可以消除因为罐诊设备所带来的影响。因为常用的罐诊器（即图1所示的罐）的挤压带来异常的边缘颜色呈白色，通过该方法可以有效消除它所带来的影响。

S304，从待分割罐印图像中，分割出被环状掩膜覆盖的区域，作为标准罐印图像。

结合图4，获得环状掩膜后，可以直接将环状掩膜和待分割罐印图像合并，由此可以在待分割罐印图像中确定出一个被环状掩膜覆盖的区域，然后将该区域内的待分割罐印图像裁剪出来，裁剪出的这部分图像，就是直接拍摄的待分割罐印图像中被罐印覆盖的区域，也就是标准罐印图像。

本实施例中，请参见图5，为本申请实施例提供的一种罐印分割网络的训练过程示意图，训练罐印分割网络的过程包括：

A1，确定训练样本；其中，每一个训练样本，均包括样本罐印图像，样本罐印图像对应的标注外圈掩膜和标注内圈掩膜；

A2，用待训练的罐印分割网络处理训练样本所含的样本罐印图像，获得样本罐印图像对应的预测外圈掩膜和预测内圈掩膜；

A3，根据样本罐印图像对应的标注外圈掩膜和标注内圈掩膜，以及样本罐印图像对应的预测外圈掩膜和预测内圈掩膜，确定待训练的罐印分割网络的网络损失；

A4，判断网络损失是否满足预设的训练结束条件；

A5，若网络损失不满足训练结束条件，根据网络损失更新待训练的罐印分割网络的参数，返回执行用待训练的罐印分割网络处理训练样本所含的样本罐印图像，获得样本罐印图像对应的预测外圈掩膜和预测内圈掩膜步骤，直至网络损失满足训练结束条件为止。

下面结合图5对罐印分割网络的训练过程进行说明：

在进行训练之前，可以根据服务器可使用的资源设置训练过程相关的网络参数，示例性的，本实施例中可以设定批量大小（batch size）为16，即一次训练使用16个训练样本，所有样本经过模型训练的次数（epoch，也可以记为最大迭代次数）为200-500。

步骤A1中，可以确定多个训练样本，具体的，可以预先拍摄得到多张样本罐印图像，然后通过人工标注的方式，标注出每一张样本罐印图像中被罐印覆盖区域的外侧边界和内侧边界，也就是该样本罐印图像的标注外圈掩膜和标注内圈掩膜，从而获得多个训练样本。

样本罐印图像，为直接利用摄像设备拍摄得到的，包含被罐印覆盖区域和未被罐印覆盖区域的原始图像。

步骤A2中待训练的罐印分割网络，可以是未经过任何训练，按照默认的初始参数配置的罐印分割网络，也可以是使用过一段时间后需要再次进行训练的罐印分割网络。

A2中的预测外圈掩膜和预测内圈掩膜，相当于图4中经过S302处理得到的外圈掩膜和内圈掩膜。

步骤A3中计算网络损失过程可以是：

根据样本罐印图像对应的标注外圈掩膜和标注内圈掩膜，相对于样本罐印图像对应的预测外圈掩膜和预测内圈掩膜之间的偏差，计算得到掩膜损失；

对于每一个训练样本，在计算该训练样本的掩膜损失时，可以先分别确定标注外圈掩膜和预测外圈掩膜的位置和尺寸偏差，以及确定标注内圈掩膜和预测内圈掩膜的位置和尺寸偏差，然后根据这些偏差，利用任意一种现有的损失计算函数，例如Log Loss、DiceLoss、Focal Loss等计算得到上述掩膜损失（可以记为MaskLoss）。

根据预测外圈掩膜的几何参数和预测内圈掩膜的几何参数，计算得到圆度损失；

预测外圈掩膜的几何参数，可以包括预测外圈掩膜的直径和面积，预测内圈掩膜的几何参数，可以包括预测内圈掩膜的面积。

上计算训练样本的圆度损失时，首先可以用预测外圈掩膜的面积减去预测内圈掩膜的面积，获得图4所示的环状掩膜的面积S（也可以记为罐斑面积）。

然后将罐斑面积S和预测外圈掩膜的直径d代入如下公式计算得到训练样本的圆度损失：RoundnessLoss：

RoundnessLoss2=4πS÷d²。

在网络损失中引入上述圆度损失的好处在于，标准罐印图像（罐斑图像）是一个圆弧形状的图像，所以增加圆度损失计算能使输出结果更准确。

按照掩膜损失对应的掩膜权重和圆度损失对应的圆度权重，将掩膜损失和圆度损失加权求和，获得训练样本的网络损失；

具体的，可以按照下述公式对训练样本的掩膜损失和圆度损失进行加权求和，获得训练样本的网络损失Loss：

Loss=α×MaskLoss+（1-α）×RoundnessLoss，其中α为掩膜权重，1-α表示圆度权重，α的取值范围为0至1。

根据训练样本的网络损失确定待训练的罐印分割网络的网络损失。

在上述步骤中，如果训练过程只用了一个训练样本，则可以直接将该训练样本的网络损失确定为待训练的罐印分割网络的网络损失，如果训练过程用了多个训练样本，则可以将多个训练样本的网络损失的总和或者平均值确定为待训练的罐印分割网络的网络损失。

在步骤A4中，训练结束条件可以是迭代次数达到预设的最大迭代次数，其中迭代次数可以视为执行步骤A3的次数。或者训练结束条件也可以是，待训练的罐印分割网络的网络损失小于或等于预设的收敛损失阈值。当然，训练结束条件也可以根据实际应用场景设定为其他条件，不再赘述。

在步骤A5中，如果待训练的罐印分割网络的网络损失不满足训练结束条件，可以利用梯度反向传播（Back Propagation）算法，根据待训练的罐印分割网络的网络损失计算得到待训练的罐印分割网络中各项参数的更新量，然后按照更新量对应更新待训练的罐印分割网络中的各项参数。梯度反向传播算法的具体执行过程可以参照相关技术领域的文献，不再赘述。

若待训练的罐印分割网络的网络损失满足训练结束条件，则本次训练结束，此时的罐印分割网络，就是训练成功，可以用于执行前述步骤S302的罐印分割网络。

在一些可选的实施例中，为了提高罐印分割网络的准确度，可以对罐印分割网络进行再训练。

再训练的过程如下：

在用于训练的多个训练样本中，筛选出低质量样本。低质量样本可以定义为对应的训练样本的网络损失大于预设的低质量阈值的训练样本。然后利用这些低质量样本重新训练罐印分割网络，直至经过训练后，这些低质量样本对应的样本损失小于低质量阈值为止。

在一些可选的实施例中，训练罐印分割网络时训练样本中也可以只包括一个预先标注的标注环状掩膜，也就是直接在一张图像中同时标注出被罐印覆盖区域的外侧边界和内侧边界，对应的，待训练的罐印分割网络输出的也可以是预测环状掩膜，这种情况下，后续计算网络损失时直接根据标注环状掩膜和预测环状掩膜计算网络损失即可。

本方案的有益效果在于：

本发明使用深度学习模型构建了一个分割方法。首先由拥有多年罐诊经验的医生进行罐斑区域标注，再建立针对区域分割的深度神经网络，进行标注罐斑图像的学习。该方法拥有分割速度快、精度高、适用范围大、能处理多种环境、类型、大小的图片，能随着分割数据数量的提升从而能提升精准度。通过简单的修改能适应不同的分割任务，同时该方法设计针对罐斑图像有很好的分割速度和精度。

根据本申请实施例提供的分割罐印图像的方法，本申请实施例还提供一种分割罐印图像的装置，请参见图6，为该装置的结构示意图，该装置可以包括如下单元。

获得单元601，用于获得待分割罐印图像。

处理单元602，用于通过预先训练的罐印分割网络处理待分割罐印图像，获得待分割罐印图像的外圈掩膜和内圈掩膜。

合并单元603，用于将待分割罐印图像的外圈掩膜和内圈掩膜合并得到环状掩膜。

分割单元604，用于从待分割罐印图像中，分割出被环状掩膜覆盖的区域，作为标准罐印图像。

可选的，装置还包括用于训练罐印分割网络的训练单元605；

训练单元605训练罐印分割网络时，具体用于：

确定训练样本；其中，每一个训练样本，均包括样本罐印图像，样本罐印图像对应的标注外圈掩膜和标注内圈掩膜；

用待训练的罐印分割网络处理训练样本所含的样本罐印图像，获得样本罐印图像对应的预测外圈掩膜和预测内圈掩膜；

根据样本罐印图像对应的标注外圈掩膜和标注内圈掩膜，以及样本罐印图像对应的预测外圈掩膜和预测内圈掩膜，确定待训练的罐印分割网络的网络损失；

判断网络损失是否满足预设的训练结束条件；

若网络损失不满足训练结束条件，根据网络损失更新待训练的罐印分割网络的参数，返回执行用待训练的罐印分割网络处理训练样本所含的样本罐印图像，获得样本罐印图像对应的预测外圈掩膜和预测内圈掩膜步骤，直至网络损失满足训练结束条件为止。

可选的，训练单元605根据样本罐印图像对应的标注外圈掩膜和标注内圈掩膜，以及样本罐印图像对应的预测外圈掩膜和预测内圈掩膜，确定待训练的罐印分割网络的网络损失时，具体用于：

可选的，合并单元603将待分割罐印图像的外圈掩膜和内圈掩膜合并得到环状掩膜之前，还用于：

对待分割罐印图像的内圈掩膜进行膨胀处理，获得膨胀后的内圈掩膜；

合并单元将待分割罐印图像的外圈掩膜和内圈掩膜合并得到环状掩膜时，具体用于：

可选的，获得单元601还用于：

本实施例提供的分割罐印图像的装置，其具体工作原理和有益效果可以参见本申请实施例提供的分割罐印图像的方法中相关步骤及其有益效果，不再赘述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种分割罐印图像的方法，其特征在于，包括：

获得待分割罐印图像；

2.根据权利要求1所述的方法，其特征在于，训练所述罐印分割网络的过程包括：

判断所述网络损失是否满足预设的训练结束条件；

3.根据权利要求2所述的方法，其特征在于，所述根据所述样本罐印图像对应的标注外圈掩膜和标注内圈掩膜，以及所述样本罐印图像对应的预测外圈掩膜和预测内圈掩膜，确定所述待训练的罐印分割网络的网络损失，包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述待分割罐印图像的外圈掩膜和内圈掩膜合并得到环状掩膜之前，还包括：

5.根据权利要求1所述的方法，其特征在于，所述通过预先训练的罐印分割网络处理所述待分割罐印图像，获得所述待分割罐印图像的外圈掩膜和内圈掩膜之前，还包括：

6.一种分割罐印图像的装置，其特征在于，包括：

获得单元，用于获得待分割罐印图像；

7.根据权利要求6所述的装置，其特征在于，所述装置还包括用于训练所述待训练罐印分割网络的训练单元；

所述训练单元训练所述罐印分割网络时，具体用于：

判断所述网络损失是否满足预设的训练结束条件；

8.根据权利要求7所述的装置，其特征在于，所述训练单元根据所述样本罐印图像对应的标注外圈掩膜和标注内圈掩膜，以及所述样本罐印图像对应的预测外圈掩膜和预测内圈掩膜，确定所述待训练的罐印分割网络的网络损失时，具体用于：

9.根据权利要求6所述的装置，其特征在于，所述合并单元将所述待分割罐印图像的外圈掩膜和内圈掩膜合并得到环状掩膜之前，还用于：

10.根据权利要求6所述的装置，其特征在于，所述获得单元还用于：