CN111091580A - 一种基于改进ResNet-UNet网络的立木图像分割方法 - Google Patents

Abstract

本发明公开了一种基于改进ResNet‑UNet网络的立木图像分割方法，首先对采集的原始立木图像进行预处理；然后将预处理后的原始立木图像输入改进后的ResNet‑UNet网络模型，得到初步的立木分割图；再对该初步的立木分割图进行后期处理，依据改进后ResNet‑UNet网络模型的训练精度，对所述初步的立木分割图设定动态阈值，并为前景背景赋值；然后输入惩罚奖励机制，实现立木图像的二值化分割，得到高质量的立木分割图。上述方法能够解决现有技术分割立木图像精度低的问题，有效提高立木图像分割的质量，实现立木图像中单目标立木的精确分割。

Description

一种基于改进ResNet-UNet网络的立木图像分割方法

技术领域

本发明涉及立木图像处理技术领域，尤其涉及一种基于改进ResNet-UNet网络的立木图像分割方法。

背景技术

目前，立木图像分割用于分析图像中的目标立木，为后续的深度信息重建、测树因子提取等任务提供更有意义、更便于计算机识别的图像信息，提高立木分割图像的质量是森林资源信息化的重要内容，但不同品种的立木纹理、颜色、形态等存在较大差异，森林中立木的生长环境复杂，立木树冠之间相互遮挡，光照不均匀且不断变化，获取准确的立木分割图像变得非常困难。

现有技术方案存在基于颜色特征和纹理特征，利用K-means聚类和超像素聚类的方法分割植物病害图像，由于依据前景和背景的特征差异进行分割，分割立木图像时极易产生噪声；同时通过不断的探索和改进，现有技术逐渐形成了基于图论和基于数学形态学的立木图像分割方法，但这些方法的不足在于缺少分割立木整体图像的理论和运用，分割立木图像的精度也较低，无法为后期图像处理提供支持。

发明内容

本发明的目的是提供一种基于改进ResNet-UNet网络的立木图像分割方法，该方法能够解决现有技术分割立木图像精度低的问题，有效提高立木图像分割的质量，实现立木图像中单目标立木的精确分割。

本发明的目的是通过以下技术方案实现的：

一种基于改进ResNet-UNet网络的立木图像分割方法，所述方法包括：

步骤1、首先对采集的原始立木图像进行预处理；

步骤2、然后将预处理后的原始立木图像输入改进后的ResNet-UNet网络模型，得到初步的立木分割图；

步骤3、再对该初步的立木分割图进行后期处理，依据改进后ResNet-UNet网络模型的训练精度，对所述初步的立木分割图设定动态阈值，并为前景背景赋值，输入惩罚奖励机制，实现立木图像的二值化分割，最后得到高质量的立木分割图。

由上述本发明提供的技术方案可以看出，上述方法能够解决现有技术分割立木图像精度低的问题，有效提高立木图像分割的质量，实现立木图像中单目标立木的精确分割。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的基于改进ResNet-UNet网络的立木图像分割方法流程示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

下面将结合附图对本发明实施例作进一步地详细描述，如图1所示为本发明实施例提供的基于改进ResNet-UNet网络的立木图像分割方法流程示意图，所述方法包括：

步骤1、首先对采集的原始立木图像进行预处理；

在该步骤中，预处理过程具体为：

首先对采集的原始立木图像进行分辨率统一和灰度化处理，以提高分割的效率；

采用随机旋转、镜像、按比例随机缩放的方式对原始立木图像的样本数据量进行扩充；

并从扩充后的样本中随机挑选60％作为训练集、20％作为验证集、20％作为测试集。

具体实现过程中，上述原始立木图像的采集可以在白天自然环境下使用iphone6s plus手机相机拍摄，在不同光照条件，共采集了樟树、枫树以及其他园艺树种等395幅不同特征的立木图片，每幅图像的尺寸均为1920×1080像素。

步骤2、然后将预处理后的原始立木图像输入改进后的ResNet-UNet网络模型，得到初步的立木分割图；

在该步骤中，所述改进后的ResNet-UNet网络模型使用ResNet-34作为特征提取前端，同时利用UNet网络的设计思路，采用上采样和特征复制拼接还原图像分辨率，具体过程为：

在特征提取部分，首先将得到的尺寸为512×512预处理后的原始立木图像输入ResNet-34网络的特征提取模块，使用独立卷积结构和卷积残差结构、去除ResNet-34的平均池化和全连接层；为了将ResNet与U-Net网络有机融合，ResNet-UNet网络特征提取的最后一个残差模块操作的卷积通道数与ResNet-34的最后一层的卷积通道数保持一致；

仿照U-Net模型的设计思路，利用上采样对图像进行插值，以还原图像分辨率；使用特征复制拼接操作将特征提取部分和上采样部分相同尺度的特征进行拼接融合；每次特征复制拼接后都依次进行3×3的卷积、批正则化和ReLu修正线性单元操作，重复两次；上采样部分的终层卷积使用Sigmoid目标分类函数，以提高学习效率、保证分类的准确率；

最后使用非局部操作引入全局信息，并使用1×1的卷积层和上采样操作得到初步的立木分割图。

另外，上述改进后的ResNet-UNet网络的训练方法具体为：

采用Adam一阶优化算法代替随机梯度下降法，初始学习率为0.001，学习率衰减因子通过计算梯度的一阶矩估计和二阶矩估计自适应得到，并依据训练数据自动迭代更新网络权重，共迭代15000次。

在训练时，由于立木图像特征不明显，目标前景的特征面积不断变化，本实例采用dice loss非线性损失函数与BCE loss相结合的方法，代替了常用二进制交叉熵损失函数(binary cross entropy loss，BCE loss)，在关注整体图像的损失度的前提下，更注重目标物的损失度变化，从而避免特征面积对分割精度的影响，其中：

dice loss损失函数损失率loss的公式如下：

bce loss损失函数损失率loss的公式如下：

dice_bce_loss损失函数损失率loss的公式如下：

dice_bce_loss＝bce_loss-log(1-dice_loss)

步骤3、再对该初步的立木分割图进行后期处理，依据改进后ResNet-UNet网络模型的训练精度，对所述初步的立木分割图设定动态阈值，并为前景背景赋值，输入惩罚奖励机制，实现立木图像的二值化分割，得到高质量的立木分割图。

在该步骤中，首先对该初步的立木分割图进行后期处理：由于在一定范围内，训练次数越多模型拟合效果越好、损失度越低；但超过该范围模型会出现过拟合现象，增加训练次数可能导致损失度不变或上升。由于训练次数的范围不易准确地被人为界定，预测最终结果可能会产生过分割现象。为避免分割最终结果对预测最终结果的过分依赖，后期处理方法通过对训练N次的结果设定动态阈值并给前景背景赋值，然后依据训练精度设定惩奖权重，最后利用形态学的腐蚀膨胀开闭操作平滑立木边缘，从而实现立木图像的二值化分割，具体来说：

(1)设定动态阈值：在该步骤中，由于受光照环境等因素的影响，使用同一模型预测不同立木图片时前景、背景颜色深浅不一，所以使用固定的阈值对立木图像做二值化会导致分割不精确，故本实施例首先依据初步的立木分割图中前景为深色、背景为浅色的特性，依据前景和背景的色差，对该初步的立木分割图设定动态阈值，并为前景背景赋值，具体公式表示为：

threshold＝(f_min-f_max)/a

式中，thresold--动态阈值，反映前景和背景像素值之间的差值；f_min--为前景概率最小的像素值，像素值次大；f_max--为前景概率最大的像素值，像素值最小；

(2)给前景背景赋惩罚奖励值：依据动态阈值将图像分为前景和背景两类，大于动态阈值的像素为初始背景，将其作为惩罚值并赋值为-1；小于动态阈值的像素为初始前景，将其作为奖励值并赋值为1。

(3)输入惩罚奖励机制，实现立木图像的二值化分割，得到高质量的立木分割图：

在该步骤中，具体依据改进后ResNet-UNet网络模型的训练精度设定惩奖权重，输入惩罚奖励机制，公式为：

式中，y*为更新后的像素估计赋值；loss为训练的损失度(介于0到1之间)；v为对应像素的惩罚值或奖励值(取值-1或1)；y为更新前的像素估计赋值，通过迭代得到，上一步的y*即下一步的初始像素估计赋值y；

由于模型的精确度与其损失度呈负相关，以训练损失度的倒数作为惩罚或奖励的权重，该权重则与模型的精确度呈正相关。权重较高的惩罚奖励值对惩罚-奖励机制的贡献较大，但多个权重较小的惩罚奖励值对该机制也产生一定的影响。依据对应像素的惩罚值或奖励值，将惩罚或奖励值与损失度权重对应相乘并相加，迭代y得到更新后的像素估计赋值y*。将y*与0作比较，大于0的像素代表前景；小于0的像素代表背景，并对立木图像做二值化分割；

最后使用腐蚀膨胀、开闭运算填充二值立木分割图的孤立团块，并平滑目标立木的分割边界，得到高质量的立木分割图。

为了验证本申请所述分割方法的有效性，下面分别采用现有的graph cut图像分割算法和传统的ResNet-UNet卷积神经网络方法分割立木图像，与本申请所述改进的ResNet-UNet卷积神经网络立木分割方法的效果进行对比，为了客观评判分割效果，本申请采用统计像素的准确率(pixel accuracy，PA)以及比较试验分割图与人工分割图的前景形状余弦相似度(shape similarity，SS)两个指标共同评价。

分别选取不同光照条件下的立木图像各4幅，不同分割方法评价指标统计结果如下表1所示：

表1不同分割方法评价指标统计(％)

注：A_f表示误分率(separately segmentation error)；R_FN表示假阴率(falsepositive rate)；R_FP表示假阳率(false negative rate)。

由上表1可知：本发明实施例所述分割方法的误分率A_f、假阴率R_FN、假阳率R_FP均值分别为3.87％、4.50％、3.13％，均低于现有技术中graph cut算法指标(20.03％、29.55％、28.72％)；其中误分率低于传统的ResNet-UNet网络的分割指标的误分率(7.33％)。结果表明，较现有的graph cut立木图像分割方法，本文方法的准确率提高20个百分点；较传统的ResNet-UNet图像分割方法相比，本文方法的准确率提高3个百分点，具有较好的性能指标。

值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

综上所述，本发明实施例所提供的立木图像分割方法是有效的，其提取的立木图像具有较高的准确率和较强的鲁棒性，可为下一步的立木深度信息重建、测树因子提取等提供有益的参考，从而更利于森林资源调查工作的进行。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种基于改进ResNet-UNet网络的立木图像分割方法，其特征在于，所述方法包括：

步骤1、首先对采集的原始立木图像进行预处理；

步骤2、然后将预处理后的原始立木图像输入改进后的ResNet-UNet网络模型，得到初步的立木分割图；

步骤3、再对该初步的立木分割图进行后期处理，依据改进后ResNet-UNet网络模型的训练精度，对所述初步的立木分割图设定动态阈值，并为前景背景赋值，输入惩罚奖励机制，实现立木图像的二值化分割，最后得到高质量的立木分割图。

2.根据权利要求1所述基于改进ResNet-UNet网络的立木图像分割方法，其特征在于，在步骤1中，预处理过程具体为：

首先对采集的原始立木图像进行分辨率统一和灰度化处理，以提高分割的效率；

采用随机旋转、镜像、按比例随机缩放的方式对原始立木图像的样本数据量进行扩充；

并从扩充后的样本中随机挑选60％作为训练集、20％作为验证集、20％作为测试集。

3.根据权利要求1所述基于改进ResNet-UNet网络的立木图像分割方法，其特征在于，在步骤2中，所述改进后的ResNet-UNet网络模型使用ResNet-34作为特征提取前端，同时利用UNet网络的设计思路，采用上采样和特征复制拼接还原图像分辨率，具体过程为：

在特征提取部分，首先将得到的尺寸为512×512预处理后的原始立木图像输入ResNet-34网络的特征提取模块，使用独立卷积结构和卷积残差结构、去除ResNet-34的平均池化和全连接层；其中，为了将ResNet与U-Net网络有机融合，ResNet-UNet网络特征提取的最后一个残差模块操作的卷积通道数与ResNet-34的最后一层的卷积通道数保持一致；

仿照U-Net模型的设计思路，利用上采样对图像进行插值，以还原图像分辨率；使用特征复制拼接操作将特征提取部分和上采样部分相同尺度的特征进行拼接融合；每次特征复制拼接后都依次进行3×3的卷积、批正则化和ReLu修正线性单元操作，重复两次；上采样部分的终层卷积使用Sigmoid目标分类函数；

最后使用非局部操作引入全局信息，并使用1×1的卷积层和上采样操作得到初步的立木分割图。

4.根据权利要求1所述基于改进ResNet-UNet网络的立木图像分割方法，其特征在于，所述步骤3的过程具体为：

首先依据初步的立木分割图中前景为深色、背景为浅色的特性，依据前景和背景的色差，对该初步的立木分割图设定动态阈值，并为前景背景赋值，具体公式表示为：

threshold＝(f_min-f_max)/α

式中，thresold--动态阈值，反映前景和背景像素值之间的差值；f_min--为前景概率最小的像素值，像素值次大；f_max--为前景概率最大的像素值，像素值最小；

然后依据动态阈值将图像分为前景和背景两类，大于动态阈值的像素为初始背景，将其作为惩罚值并赋值为-1；小于动态阈值的像素为初始前景，将其作为奖励值并赋值为1；

再依据改进后ResNet-UNet网络模型的训练精度设定惩奖权重，输入惩罚奖励机制，公式为：

式中，y*为更新后的像素估计赋值；loss为训练的损失度；v为对应像素的惩罚值或奖励值；y为更新前的像素估计赋值，通过迭代得到，上一步的y*即下一步的初始像素估计赋值y；

然后依据对应像素的惩罚值或奖励值，将惩罚或奖励值与损失度权重对应相乘并相加，迭代y得到更新后的像素估计赋值y*；将y*与0作比较，大于0的像素代表前景，小于0的像素代表背景，并对立木图像做二值化分割；

最后使用腐蚀膨胀、开闭运算填充二值立木分割图的孤立团块，并平滑目标立木的分割边界，得到高质量的立木分割图。

Images